论文部分内容阅读
在Internet飞速发展和广泛普及的今天，信息传输从两方面加强力度：一是多媒体化；二是实时化。在此基础上，高保真准动态图像采集、压缩和远程传输技术成为许多先进国家计算机领域的重要研究课题。
一、系统总体结构
在物理上，本系统分为发送站点和接收站点两部分。在逻辑上，本系统分为图像采集、压缩和传输子系统、性能控制子系统。整个系统包含如下六个独立的功能模块。
（1）图像采集、压缩和传输子系统 图像采集模块，发送站点从摄像机读原始视频流，按一定的格式存储为视频数据。
图像压缩模块，发送站点将视频数据压缩，为网络传输作准备。
视频传输模块，利用RTP和UDP协议将压缩后的视频数据发送到远程站点。
视频解压缩模块，接收站点将接收到的压缩数据用解压缩算法还原成视频数据。
（2）性能控制子系统 客户/服务器同步模块，使发送站点和远程接收站点在视频格式和设置方面保持一致。
自适应模块，在信道传输率较差时，能自动启动自适应功能，使系统的视频传输适应复杂的网络情况。
二、系统设计中的关键技术和优化策略
1、视频采集技术分析和选择 为了实时视频采集，需要安装相应的视频采集设备。即视频采集卡和摄像头等。并需要安装相应的驱动软件来支持这些设备的运行。
操作系统提供了VFW（Video for Windows SDK）。VFW包含了大量与视频采集有关的编程接口。这些编程接口通过操作系统提供的VFW-to-WDM Voide Capture Mapper调用设备驱动程序中的相关例程，为系统的图像采集提供了底层接口编程基础。
VFW提供了两种视频采集模式：Preview（简称P模式）和Overlay（简称O模式）。笔者在系统设计中通过实验和测试比较了这两种模式。
P模式占用较多的系统资源。在这种模式中，硬件将采集的视频帧传送到系统内存中，然后在视频采集窗口用Windows GDI函数进行显示；而O模式下，视频采集子系统直接通过硬件方法显示视频，相对来说节省内存，且速度较快。
O模式稳定性较好，但也要求电源性能较好。在直流电源性能较好情况下，采用Overlay模式进行视频采集。
实际运行过程表明，上述分析是正确的。本系统设计中采用了Overlay模式。这一选择对稳定性起到了较好的优化作用。
2、视频压缩、解压缩技术的优先和优化 针对视频应用中可能遇到的各种情况，本系统的压缩、解压缩模块设计采用三种压缩方案，使用时可以从中选择一种，以适应不同环境和不同需求。
一是国际通用的高压缩进比方案H.263,该方案压缩比高，但图像质量较差，适用于网络传输性能较差的情况，该方案大体符合现场图像的处理要求。二是图像压缩质量最好、算法最先进的MPEG-4方案，该方案图像质量好，便压缩比较低，适用于网络传输性能良好的情况。三是在H.263的基础上作为较大幅度修改和优化的TH.263方案，该方案在压缩比与H.263相近的情况下，图像质量有明显改善。
图像解压缩与压缩过程正好相反，即先将压缩的函数数据作行程解码和哈夫曼解码，然后进行反量化，并据此进行IDCT变换。如果此帧是关键帖，，则直接将这个宏块重组即得出还原后的图像；否则，根据运行矢量将各宏块的数据与上一帧进行组合才得出不定期原后的图像。由于解压缩不需要分析图像和网络的情况，也不需要考虑压缩比和压缩质量，只是简单地将图像还原，所以程序比较简单。
通过分析和测试表明，格式转换、对关键帧和非关键帧离散余弦变换DCT、对非关键帧的帧间压缩是最重要最耗时的环节。为此，在设计中对这些环节进行了优化。
优化方案的思想是：通过传输模块反馈回来的信息，得知当前网络的传输速率，以此来调整压缩算法的各个参数，即压缩质量、每秒帧数等，获得当前最好的帧率和质量。
具体从两方面实施：一是对帧内压缩方法进行优化；二是对帧间压缩方法进行优化。
对帧内压缩方法的优化主要通过改变压缩质量的参数来调节图像质量和压缩比。
3、用UDP和RTP实现图像传输并进行实时优化 视频图像的实时传输有如下特征：
数据量大，尤其是高保真活动图像的数据量更大，从而带宽要求高；实时性要求高。
上述特点使视频图像传输对传输环境提出很高的要求。但另一方面，图像数据包在少量丢失情况下不影响还原质量。为此，采用建立在UDP基础上的实时传输协议RTP。
用UDP协议进行数据传输的优点是不需要建立连接，传输速度快。缺点是容易丢失数据包，而且数据包的顺序容易混乱。
本设计中，对实时可靠性进行了优化，具体程序设计中，采用了如下策略:
建立一条以UDP作为传输协议的数据通路，在传输时把压缩过的视频流打包，打包时考虑到两个因素：第一，某些压缩的关键帧会很大；第二，关键帧与非关键帧数据量相差很远。这两个因素可能导致数据包乱序，为此，不能简单地将视频帧作为打包单位，而是将数据流划分成等量的小包，并在包头标上序号进行顺序传输。
4、视频传输中的自适应技术 由于网络带宽有限且随机变化，因此视频传输的实时性会受到严重影响，甚至会使接收到的视频出现不连续或停顿现象。为此，在系统设计中，引入了视频传输的自适应机制。具体实现的，系统一边传输一边检测网络状态，并据此调整发送策略以适应网络变化。图2表示了在远程控制系统中加入自适应机制后的结构。
自适应机制由检测模块、反馈模块和决策模块组成。发送端将视频图像压缩后，打成RTP数据包，然后用RTP协议发送。发送站点的自适应检测模块检测并记录有关的发送信息，包括传输率、字节数等。接收站点通过自适应反馈模块检测有关的信息，并将其发送到接收站点的检测模块。后者将发送和接收时的信息相比较，再将比较结果传送到自适应决策模块。为了尽可能节省信息量，接收端自适应反馈模块向发送端检测模块只发送一个信息包序列号。这样后者可计算出信息包的传输时间，并在多次检测基础上得到带宽平均评估值。发送端再根据评估值改变视频采集频率和压缩比，调整视频数据量，从而实现自适应功能。
5、发送和接收的同步技术 本系统采用Client/Server结构。在这种结构中，只有Client端才能连接请求建立连接，而且一个Client端可与多个Server建立连接。因此，将接收站点作为Client，发送站点作为Server。当接收站点需要得到远端的视频图像时，便发出连接请求。这种方式适用于系统视频采集站点处于恶劣环境中无人看管的情况。
Server端采集视频数据并进行压缩后，发送给Client，Client将数据解压缩后显示视频图像。系统设计中，为了适应不同的网络环境和图像要求，对视频质量配置了双向调节功能。即一方面，视频采集站点可直接调节图像质量，另一方面接收站点也可以调节采集站点的图像采集和压缩参数，从而是调节图像质量。
具体实现时，设计了一个用8字节表示的comp_config_packet结构；当在Server端或Client端拖动控制面板上的滚动条时，将改变后的各项数据填充到comp_config_packet结构中，并将此结构发送到Client端或Server端；当Client端或Server端接收到该数据结构后，立即据此改变对应控制面板中的各项数据，并在控制面板上作相应显示。
一、系统总体结构
在物理上，本系统分为发送站点和接收站点两部分。在逻辑上，本系统分为图像采集、压缩和传输子系统、性能控制子系统。整个系统包含如下六个独立的功能模块。
（1）图像采集、压缩和传输子系统 图像采集模块，发送站点从摄像机读原始视频流，按一定的格式存储为视频数据。
图像压缩模块，发送站点将视频数据压缩，为网络传输作准备。
视频传输模块，利用RTP和UDP协议将压缩后的视频数据发送到远程站点。
视频解压缩模块，接收站点将接收到的压缩数据用解压缩算法还原成视频数据。
（2）性能控制子系统 客户/服务器同步模块，使发送站点和远程接收站点在视频格式和设置方面保持一致。
自适应模块，在信道传输率较差时，能自动启动自适应功能，使系统的视频传输适应复杂的网络情况。
二、系统设计中的关键技术和优化策略
1、视频采集技术分析和选择 为了实时视频采集，需要安装相应的视频采集设备。即视频采集卡和摄像头等。并需要安装相应的驱动软件来支持这些设备的运行。
操作系统提供了VFW（Video for Windows SDK）。VFW包含了大量与视频采集有关的编程接口。这些编程接口通过操作系统提供的VFW-to-WDM Voide Capture Mapper调用设备驱动程序中的相关例程，为系统的图像采集提供了底层接口编程基础。
VFW提供了两种视频采集模式：Preview（简称P模式）和Overlay（简称O模式）。笔者在系统设计中通过实验和测试比较了这两种模式。
P模式占用较多的系统资源。在这种模式中，硬件将采集的视频帧传送到系统内存中，然后在视频采集窗口用Windows GDI函数进行显示；而O模式下，视频采集子系统直接通过硬件方法显示视频，相对来说节省内存，且速度较快。
O模式稳定性较好，但也要求电源性能较好。在直流电源性能较好情况下，采用Overlay模式进行视频采集。
实际运行过程表明，上述分析是正确的。本系统设计中采用了Overlay模式。这一选择对稳定性起到了较好的优化作用。
2、视频压缩、解压缩技术的优先和优化 针对视频应用中可能遇到的各种情况，本系统的压缩、解压缩模块设计采用三种压缩方案，使用时可以从中选择一种，以适应不同环境和不同需求。
一是国际通用的高压缩进比方案H.263,该方案压缩比高，但图像质量较差，适用于网络传输性能较差的情况，该方案大体符合现场图像的处理要求。二是图像压缩质量最好、算法最先进的MPEG-4方案，该方案图像质量好，便压缩比较低，适用于网络传输性能良好的情况。三是在H.263的基础上作为较大幅度修改和优化的TH.263方案，该方案在压缩比与H.263相近的情况下，图像质量有明显改善。
图像解压缩与压缩过程正好相反，即先将压缩的函数数据作行程解码和哈夫曼解码，然后进行反量化，并据此进行IDCT变换。如果此帧是关键帖，，则直接将这个宏块重组即得出还原后的图像；否则，根据运行矢量将各宏块的数据与上一帧进行组合才得出不定期原后的图像。由于解压缩不需要分析图像和网络的情况，也不需要考虑压缩比和压缩质量，只是简单地将图像还原，所以程序比较简单。
通过分析和测试表明，格式转换、对关键帧和非关键帧离散余弦变换DCT、对非关键帧的帧间压缩是最重要最耗时的环节。为此，在设计中对这些环节进行了优化。
优化方案的思想是：通过传输模块反馈回来的信息，得知当前网络的传输速率，以此来调整压缩算法的各个参数，即压缩质量、每秒帧数等，获得当前最好的帧率和质量。
具体从两方面实施：一是对帧内压缩方法进行优化；二是对帧间压缩方法进行优化。
对帧内压缩方法的优化主要通过改变压缩质量的参数来调节图像质量和压缩比。
3、用UDP和RTP实现图像传输并进行实时优化 视频图像的实时传输有如下特征：
数据量大，尤其是高保真活动图像的数据量更大，从而带宽要求高；实时性要求高。
上述特点使视频图像传输对传输环境提出很高的要求。但另一方面，图像数据包在少量丢失情况下不影响还原质量。为此，采用建立在UDP基础上的实时传输协议RTP。
用UDP协议进行数据传输的优点是不需要建立连接，传输速度快。缺点是容易丢失数据包，而且数据包的顺序容易混乱。
本设计中，对实时可靠性进行了优化，具体程序设计中，采用了如下策略:
建立一条以UDP作为传输协议的数据通路，在传输时把压缩过的视频流打包，打包时考虑到两个因素：第一，某些压缩的关键帧会很大；第二，关键帧与非关键帧数据量相差很远。这两个因素可能导致数据包乱序，为此，不能简单地将视频帧作为打包单位，而是将数据流划分成等量的小包，并在包头标上序号进行顺序传输。
4、视频传输中的自适应技术 由于网络带宽有限且随机变化，因此视频传输的实时性会受到严重影响，甚至会使接收到的视频出现不连续或停顿现象。为此，在系统设计中，引入了视频传输的自适应机制。具体实现的，系统一边传输一边检测网络状态，并据此调整发送策略以适应网络变化。图2表示了在远程控制系统中加入自适应机制后的结构。
自适应机制由检测模块、反馈模块和决策模块组成。发送端将视频图像压缩后，打成RTP数据包，然后用RTP协议发送。发送站点的自适应检测模块检测并记录有关的发送信息，包括传输率、字节数等。接收站点通过自适应反馈模块检测有关的信息，并将其发送到接收站点的检测模块。后者将发送和接收时的信息相比较，再将比较结果传送到自适应决策模块。为了尽可能节省信息量，接收端自适应反馈模块向发送端检测模块只发送一个信息包序列号。这样后者可计算出信息包的传输时间，并在多次检测基础上得到带宽平均评估值。发送端再根据评估值改变视频采集频率和压缩比，调整视频数据量，从而实现自适应功能。
5、发送和接收的同步技术 本系统采用Client/Server结构。在这种结构中，只有Client端才能连接请求建立连接，而且一个Client端可与多个Server建立连接。因此，将接收站点作为Client，发送站点作为Server。当接收站点需要得到远端的视频图像时，便发出连接请求。这种方式适用于系统视频采集站点处于恶劣环境中无人看管的情况。
Server端采集视频数据并进行压缩后，发送给Client，Client将数据解压缩后显示视频图像。系统设计中，为了适应不同的网络环境和图像要求，对视频质量配置了双向调节功能。即一方面，视频采集站点可直接调节图像质量，另一方面接收站点也可以调节采集站点的图像采集和压缩参数，从而是调节图像质量。
具体实现时，设计了一个用8字节表示的comp_config_packet结构；当在Server端或Client端拖动控制面板上的滚动条时，将改变后的各项数据填充到comp_config_packet结构中，并将此结构发送到Client端或Server端；当Client端或Server端接收到该数据结构后，立即据此改变对应控制面板中的各项数据，并在控制面板上作相应显示。