论文部分内容阅读
随着Web技术和通讯技术的发展,目前的互联网不再局限于传统意义的Internet,还包括WAP网络,3G网络等基于各种协议以及各种互联设备的网络。这些网络已经成为网络视频发布和传播的一个重要途径。这种动态复杂的网络环境具有通讯协议多样、网络数据动态变化、包含大量的冗余和噪音数据等特点。Web视频服务提供商从自身利益出发,只允许用户在线观看其视频节目,下载后离线浏览这种方式目前被大多数视频网站所排斥,给视频监管带来困难。因此,如何在复杂的网络环境下,避免大量的冗余和噪音数据,快速有效地对视频数据进行采集成为在线视频监管亟待解决的首要问题。Web视频发现与源地址解析技术研究及实现主要着眼于三个方面。第一,Web视频页面识别。通过大量调研和实验,归纳确定一组Web视频页面普遍存在的特征,并根据其在Web视频页面识别中的重要程度为其设置相应的权重,实现一种以Web视频页面组合特征为线索,以特征综合权重为评判标准的Web视频页面识别方法,即通过将待识别页面与特征库逐一匹配,计算综合权重,根据综合权重梯次划分,达到视频页面相关度评估的目的。这种方法可以有效的对Web视频页面进行识别,筛选出主题目标。第二,视频源地址解析。研究并实现基于网络数据包捕获与分析的通用解析与面向大规模网站的定制解析的联合解析方案。基于网络数据包捕获与分析的解析方案普适性高,实现简单,但是对浏览器和专有工具依赖性强,解析速度慢；面向视频源站和私有协议的定制解析方案,速度快,无需播放视频或调用其他工具,但是各个网站的解析流程和方法差异较大,实现困难。联合方案可兼顾解析的效率和全面性。第三,基于Web视频发现与源地址解析技术实现了Web视频发现子系统和视频源地址解析中间件,为Web视频下载层提供有效的数据和业务支撑。