论文部分内容阅读
摘 要：随着移动互联网的快速发展，在无线终端刷视频、看直播已经成为人们日常生活中的一部分。现在互联网上的大部分视频码率比较大，用户使用的移动设备的屏幕分辨率和尺寸无法满足互联网视频码率的需求，加上外界环境的影响，导致移动用户的可用带宽不稳定，直接降低了用户观看视频的体验。基于此背景，文章对移动互联视频传输优化的要点进行分析，并提出一种解决方案的系统架构。
关键词：移动互联网;视频传输;优化;要点分析
0 引言
以往解决网络视频传输问题是通过客户端传递过来的反馈信息，判断网络的传输情况，进而通过调整发送速度或改变码率等优化措施，解决网络拥塞情况，甚至有时为了适应网络实际情况，需要从链路层、传输层和应用层等方面采取优化手段[1]。然而，这种解决方式需要建立在视频服务器和客户端播放器共同配合的基础上，对于普通用户和运营商来说，解决效果却不尽人意。
1 系统架构
通常网络运营商的网络架构是先让移动终端和附近的基站建立无线通信点到点的物理连接，即基站和基站之间的控制设备连接，再通过分组控制功能与分组数据服务节点进行连接，接着与核心交换机进行连接之后穿过防火墙，实现接入路由器和互联网的连接。然而，这种网络架构具有较高的不稳定性，用户观看视频的体验感较差。现在的网络系统增加了视频传输优化方案，即在核心交换机上安置一个四层的负载均衡器，将用户请求重新定向到视频加速服务器中。
目前，大多数网络视频包括了当今最火热的视频服务网站，传输方式都是通过HTTP协议实现的，这些视频服务网站所使用的传输端口为常规的80端口，部分可能是特殊的端口。为此，视频缓存模块要对URL进行判断，当URL请求符合指定规则时，方可进入视频传输流程进行优化处理，反之则会进入常规的网络处理流程。配备视频加速服务器和负载均衡器，可以增强系统的并发能力，确保计算结果的准确性。
2 视频缓存
视频缓存模块的功能主要是临时保留用户访问较多且压缩后的视频文件。当用户对缓存模块中的视频进行再次访问时，可直接访问视频，不再进行二次压缩，大大降低了运营商网络中重要视频，流量和视频压缩模块的压力[2]。通过在现阶段主流开源代理软件Squid上搭建视频缓存模块，对压缩的视频文件进行配置并编写特定子模块，实现视频缓存功能。
客户端通信主要用来接收用户视频请求，同时将缓存管理器中得到的视频传输给用户。服务器端通信根据用户的视频请求获取相关视频，通常指的是视频压缩模块。当服务器端发生故障或负载情况严重而无法连接时，为避免用户请求中断的发生需要直接接入视频网站的服务器。视频网站服务器把同一个视频文件分发到多台服务器中，确保负载均衡与网络畅通，因此同一个视频文件的请求会产生不同的URL。缓存管理器会判断这些不同的URL，以此确定是否来自对同一项内容的访问，为了防止不同的URL导致同一内容的视频被压缩或多次缓存，需要编写URL重写子模块。根据当前几大视频网站视频请求URL的特点找出唯一可以对视频文件进行标识的部分，将不同URL的同一视频文件重新编写为同一个，具体的URL重新编写流程为：当接收到用户请求的URL信息时，采用正则表达式对URL的模式进行分析，从而判断这条URL信息是否為可识别的视频请求。如果不是则不用修改，因为当前几大视频网站的视频请求都有专属特定模式，而根据这些特定模式抽取表示视频ID的部分，利用ID在“可用URL库”中进行查找，若是找出相对应的URL，就会将其替换原始的URL，使得缓存可以命中，不然不能轻易修改原始URL。此外，只有在系统启动的情况下才可以创建“可用URL库”，同时在运行过程中不断对其进行更新与维护。
而缓存管理器可以对URL的模式进行分析，进而对已知类型的视频请求URL进行选择，并从中抽取视频ID与URL建立映射关系，最终形成原始的“可用URL库”[3]。由于系统运行有可能更新缓存库中的内容，一旦发现有视频被移出或加入，则需要对“可用URL库”中相对应的URL进行删除或者添加处理。Squid软件具有多种配置方法实现缓存管理，利用Squid软件搭建视频缓存模块的具体流程为：首先，将缓存的写入机制、地址及存储上限进行相关设置，配置为cache-dir aufs/var/cache 200000 16 256，代表着写入机制是采用了异步线程，同时将存储结构分为两级目录式构建在/var/cache的路径下，第一级目录数为16个，第二级目录数为256个，上限为200 000 MB;其次是缓存置换策略的配置。如果以命中率为优先原则的缓存置换策略，会将大小为20 MB的视频优先移出缓存，该文件一旦被命中，主干网将节约20 MB的流量。因此，视频传输优化应采用以字节命中率为目标的缓存置换策略，即heap LFUDA，配置方法为：cache-replacement-policy heap LFUDA。缓存可以在磁盘以及内存中进行存储，进一步增强响应速度，相应的配置为：cache-mem 1 800 MB和maximum?-object-size-in-memory 10 MB。其中，1 800 MB则表示用来缓存的内存不得超过1 800 MB，而10 MB则表示缓存的文件的大小不得超过10 MB。最后，为了降低文件还在传输但用户观看完视频造成的资源浪费，可以配置：quick-abort-pct 85，表示若是视频文件已经上传了85%，即使用户结束了请求，Squid仍可继续执行这个请求直到整个文件上传成功并存储到缓存库中为止。
3 视频压缩
目前，大多数视频网站提供的视频码率都比较高，而现阶段的移动互联网容易受外界环境的影响，如基站信号覆盖面的大小、信号的强弱、附近用户的数量。通过采用减小视频码率的方式可以流畅地观看高码率视频，满足接入端的带宽要求。此外，移动终端的屏幕尺寸和分辨率比PC终端的要小很多，PC终端传输的视频的分辨率过高容易浪费资源。因此，在视频压缩的过程中，技术人员还应适当降低视频的分辨率，这样既可以节省流量，又可以降低接入端网络负载。视频压缩模块的运行原理：当视频缓存模块发出视频请求后，经过任务调度将请求发送到视频服务器，之后获得原始视频，随后将原始视频传送至视频压缩子模块进行压缩，最后再将压缩好的视频回传到视频缓存模块。 視频缓存模块与视频压缩模块的通信方式为ICAP协议，该协议的基本架构为Client/Server模式，通过采用Squid搭建视频缓存模块实现ICAP的客户端功能，同时在ICAP服务器端通过采用C-ICAP完成视频压缩模块框架的构建，而视频压缩子模块是在这个框架的基础上，采用FFMprg构建完成的。服务器端接收到原始视频之后，视频压缩子模块启动FFMpeg转码进程，将输入、输出及转码参数统一设置好。由于涉及进程间通信，可以将原始视频通过一个输入管道传输给FFMpeg转码进程，同时从一个输出管道将FFMpeg输出的压缩后视频流取出，最后再通过客户端通信子模块，将压缩后的视频流回传给视频缓存模块。
4 结语
短视频、网络直播等媒介平台随着互联网技术和商业模式的发展在网络生态体系中占有重要地位。然而视频文件在移动网络传输的过程中经常受移动网络带宽波动的影响，不仅降低了用户的上网体验，也不利于网络生态体系的发展，因此，需要根据网络的实时状态，及时调整视频传输速率，确保视频文件在网络传输过程中能够畅通无阻。
[参考文献]
[1]张桂雷.移动互联网视频实验平台中UDP网络传输的研究[J].计算机时代，2017（8）：24-25，28.
[2]祝城鑫.移动互联网视频监控关键技术研究与实现[D].北京：北京邮电大学，2015.
[3]吴冀衍，程渤，南国顺，等.面向异构无线网移动视频传输的联合信源信道编码方式[J].计算机学报，2015（2）：439-454.
（编辑 王永超）
Key points analysis of video transmission optimization in mobile Internet
Li Junhong1， Zeng Xia2*
（1.Guangzhou Yunxiang Data Technology Co.， Ltd.， Guangzhou， 510000， China;
2.Guangzhou College of Applied Science and Technology， Guangzhou， 510000， China）
Abstract：With the rapid development of mobile Internet， browsing video and watching live telecast in wireless terminal have become a part of people’s daily life. At present， most of the video bit rates on the Internet are relatively large， and the screen resolution and size of the mobile devices used by users can not meet the needs of the Internet video bit rate. The available bandwidth of mobile users is unstable， which directly reduces the user’s experience of watching video. Based on this background， this paper analyzes the key points of mobile interconnection video transmission optimization， and proposes a solution system architecture.
Key words：mobile Internet; video transmission; optimization; analysis of key points
关键词：移动互联网;视频传输;优化;要点分析
0 引言
以往解决网络视频传输问题是通过客户端传递过来的反馈信息，判断网络的传输情况，进而通过调整发送速度或改变码率等优化措施，解决网络拥塞情况，甚至有时为了适应网络实际情况，需要从链路层、传输层和应用层等方面采取优化手段[1]。然而，这种解决方式需要建立在视频服务器和客户端播放器共同配合的基础上，对于普通用户和运营商来说，解决效果却不尽人意。
1 系统架构
通常网络运营商的网络架构是先让移动终端和附近的基站建立无线通信点到点的物理连接，即基站和基站之间的控制设备连接，再通过分组控制功能与分组数据服务节点进行连接，接着与核心交换机进行连接之后穿过防火墙，实现接入路由器和互联网的连接。然而，这种网络架构具有较高的不稳定性，用户观看视频的体验感较差。现在的网络系统增加了视频传输优化方案，即在核心交换机上安置一个四层的负载均衡器，将用户请求重新定向到视频加速服务器中。
目前，大多数网络视频包括了当今最火热的视频服务网站，传输方式都是通过HTTP协议实现的，这些视频服务网站所使用的传输端口为常规的80端口，部分可能是特殊的端口。为此，视频缓存模块要对URL进行判断，当URL请求符合指定规则时，方可进入视频传输流程进行优化处理，反之则会进入常规的网络处理流程。配备视频加速服务器和负载均衡器，可以增强系统的并发能力，确保计算结果的准确性。
2 视频缓存
视频缓存模块的功能主要是临时保留用户访问较多且压缩后的视频文件。当用户对缓存模块中的视频进行再次访问时，可直接访问视频，不再进行二次压缩，大大降低了运营商网络中重要视频，流量和视频压缩模块的压力[2]。通过在现阶段主流开源代理软件Squid上搭建视频缓存模块，对压缩的视频文件进行配置并编写特定子模块，实现视频缓存功能。
客户端通信主要用来接收用户视频请求，同时将缓存管理器中得到的视频传输给用户。服务器端通信根据用户的视频请求获取相关视频，通常指的是视频压缩模块。当服务器端发生故障或负载情况严重而无法连接时，为避免用户请求中断的发生需要直接接入视频网站的服务器。视频网站服务器把同一个视频文件分发到多台服务器中，确保负载均衡与网络畅通，因此同一个视频文件的请求会产生不同的URL。缓存管理器会判断这些不同的URL，以此确定是否来自对同一项内容的访问，为了防止不同的URL导致同一内容的视频被压缩或多次缓存，需要编写URL重写子模块。根据当前几大视频网站视频请求URL的特点找出唯一可以对视频文件进行标识的部分，将不同URL的同一视频文件重新编写为同一个，具体的URL重新编写流程为：当接收到用户请求的URL信息时，采用正则表达式对URL的模式进行分析，从而判断这条URL信息是否為可识别的视频请求。如果不是则不用修改，因为当前几大视频网站的视频请求都有专属特定模式，而根据这些特定模式抽取表示视频ID的部分，利用ID在“可用URL库”中进行查找，若是找出相对应的URL，就会将其替换原始的URL，使得缓存可以命中，不然不能轻易修改原始URL。此外，只有在系统启动的情况下才可以创建“可用URL库”，同时在运行过程中不断对其进行更新与维护。
而缓存管理器可以对URL的模式进行分析，进而对已知类型的视频请求URL进行选择，并从中抽取视频ID与URL建立映射关系，最终形成原始的“可用URL库”[3]。由于系统运行有可能更新缓存库中的内容，一旦发现有视频被移出或加入，则需要对“可用URL库”中相对应的URL进行删除或者添加处理。Squid软件具有多种配置方法实现缓存管理，利用Squid软件搭建视频缓存模块的具体流程为：首先，将缓存的写入机制、地址及存储上限进行相关设置，配置为cache-dir aufs/var/cache 200000 16 256，代表着写入机制是采用了异步线程，同时将存储结构分为两级目录式构建在/var/cache的路径下，第一级目录数为16个，第二级目录数为256个，上限为200 000 MB;其次是缓存置换策略的配置。如果以命中率为优先原则的缓存置换策略，会将大小为20 MB的视频优先移出缓存，该文件一旦被命中，主干网将节约20 MB的流量。因此，视频传输优化应采用以字节命中率为目标的缓存置换策略，即heap LFUDA，配置方法为：cache-replacement-policy heap LFUDA。缓存可以在磁盘以及内存中进行存储，进一步增强响应速度，相应的配置为：cache-mem 1 800 MB和maximum?-object-size-in-memory 10 MB。其中，1 800 MB则表示用来缓存的内存不得超过1 800 MB，而10 MB则表示缓存的文件的大小不得超过10 MB。最后，为了降低文件还在传输但用户观看完视频造成的资源浪费，可以配置：quick-abort-pct 85，表示若是视频文件已经上传了85%，即使用户结束了请求，Squid仍可继续执行这个请求直到整个文件上传成功并存储到缓存库中为止。
3 视频压缩
目前，大多数视频网站提供的视频码率都比较高，而现阶段的移动互联网容易受外界环境的影响，如基站信号覆盖面的大小、信号的强弱、附近用户的数量。通过采用减小视频码率的方式可以流畅地观看高码率视频，满足接入端的带宽要求。此外，移动终端的屏幕尺寸和分辨率比PC终端的要小很多，PC终端传输的视频的分辨率过高容易浪费资源。因此，在视频压缩的过程中，技术人员还应适当降低视频的分辨率，这样既可以节省流量，又可以降低接入端网络负载。视频压缩模块的运行原理：当视频缓存模块发出视频请求后，经过任务调度将请求发送到视频服务器，之后获得原始视频，随后将原始视频传送至视频压缩子模块进行压缩，最后再将压缩好的视频回传到视频缓存模块。 視频缓存模块与视频压缩模块的通信方式为ICAP协议，该协议的基本架构为Client/Server模式，通过采用Squid搭建视频缓存模块实现ICAP的客户端功能，同时在ICAP服务器端通过采用C-ICAP完成视频压缩模块框架的构建，而视频压缩子模块是在这个框架的基础上，采用FFMprg构建完成的。服务器端接收到原始视频之后，视频压缩子模块启动FFMpeg转码进程，将输入、输出及转码参数统一设置好。由于涉及进程间通信，可以将原始视频通过一个输入管道传输给FFMpeg转码进程，同时从一个输出管道将FFMpeg输出的压缩后视频流取出，最后再通过客户端通信子模块，将压缩后的视频流回传给视频缓存模块。
4 结语
短视频、网络直播等媒介平台随着互联网技术和商业模式的发展在网络生态体系中占有重要地位。然而视频文件在移动网络传输的过程中经常受移动网络带宽波动的影响，不仅降低了用户的上网体验，也不利于网络生态体系的发展，因此，需要根据网络的实时状态，及时调整视频传输速率，确保视频文件在网络传输过程中能够畅通无阻。
[参考文献]
[1]张桂雷.移动互联网视频实验平台中UDP网络传输的研究[J].计算机时代，2017（8）：24-25，28.
[2]祝城鑫.移动互联网视频监控关键技术研究与实现[D].北京：北京邮电大学，2015.
[3]吴冀衍，程渤，南国顺，等.面向异构无线网移动视频传输的联合信源信道编码方式[J].计算机学报，2015（2）：439-454.
（编辑 王永超）
Key points analysis of video transmission optimization in mobile Internet
Li Junhong1， Zeng Xia2*
（1.Guangzhou Yunxiang Data Technology Co.， Ltd.， Guangzhou， 510000， China;
2.Guangzhou College of Applied Science and Technology， Guangzhou， 510000， China）
Abstract：With the rapid development of mobile Internet， browsing video and watching live telecast in wireless terminal have become a part of people’s daily life. At present， most of the video bit rates on the Internet are relatively large， and the screen resolution and size of the mobile devices used by users can not meet the needs of the Internet video bit rate. The available bandwidth of mobile users is unstable， which directly reduces the user’s experience of watching video. Based on this background， this paper analyzes the key points of mobile interconnection video transmission optimization， and proposes a solution system architecture.
Key words：mobile Internet; video transmission; optimization; analysis of key points