随着网络技术的不断发展,视频流媒体业务正在以惊人的速度增长。与其它数据不同,视频多媒体数据具有数据量大、持续时间长、传输时延敏感等特点,给数字多媒体技术和网络技术带来了巨大的挑战。编码技术的快速发展,使得视频信息能够实现高压缩比,可是要保证一定的视频播放质量,仍需要消耗大量的网络带宽。此外,这种高压缩比率也造成了视频流数据对网络传输过程中的丢包现象更加敏感。当网络节点的带宽无法支撑当前视频流的数据传输时,节点将会执行随机性的丢包策略,随之而来的将是视频质量的大幅度下降。针对上述问题,研究基于率失真优化系统框架下的多视频流调度算法,对现有的率失真丢包算法进行改进,进而提高所传输视频流的重建质量。具体的研究内容及取得的成果如下:(1)介绍了目前视频的编码特点及要求,以及所面临的挑战。一方面,流媒体中的视频流媒体具有数据量大,播放时间长的特点。当视频编码技术的快速发展,视频流也得到了高的压缩比率,使传输的数据量大幅度减小,同时带来的是对网络丢包的敏感性。另一方面,传输视频流的网络技术也在快速的发展,可是仍有带宽、差错,网络异构性等特点。这些都是研究传输视频媒体技术的关键问题。进一步分析了前人在视频媒体传输所提出的几项技术及这些技术在应用时所存在的缺陷,着重介绍了率失真优化的自适应流媒体传输技术。(2)阐述了流媒体系统框架及视频流率失真的辅助信息。根据率失真优化技术的框架对视频流的特征进行提取,视频流特征包括:视频流场景的运动强度提取和由动态容错策略所计算出的视频帧的辅助信息。首先,通过引入动态容错的机制,将视频帧的重要性进行精细化的计算,进一步提高视频重建质量的预测能力。其次,分析了视频流场景运动强度的计算方法,并说明了场景的运动强度与视频质量之间的变化关系。(3)提出了基于内容感知的流媒体失真公平算法。当网络中多个视频流共享有限的带宽时,如果将带宽平均分配给每个视频流,则会出现每个视频流的质量参差不齐,最终导致部分用户对所观看的视频质量的不满意。因此,算法对各个视频流进行内容感知,根据每一个视频流不同场景所处的运动强度级别,从而进行满足当前网络资源的数据包丢弃算法,最终形式化为一个带约束的非线性优化问题。采用动态容错机制,使得在丢包算法中提高了视频重建质量的预测能力。为了克服现有丢帧算法中丢弃粒度过于粗糙和只能支持时间可扩展性的不足,引入了H.264/AVC的数据分割技术。这项技术将每个视频帧分割成优先级不同的三个部分,降低了视频帧的丢弃粒度。仿真实验表明,该算法在有限的网络带宽下,能得到比同类算法更好的视频重建质量。(4)实现课题设计的视频传输丢帧模型,利用JMF&RTP/RTCP对多个视频流进行实时传输和同步回放。在相同测试环境下,对进行内容感知的丢帧模型和随机丢帧模型进行测试,进一步说明基于内容感知的流媒体失真公平算法的可行性。