论文部分内容阅读
摘要：在大数据飞速发展的今天，大数据已经融入到了人们的生活工作当中。随着视频从模拟到数字化的转变，同时人们也对视频质量的清晰度、流畅度、实时度的要求越来越高，视频压缩技术成为解决此问题的一个重要环节。数字化的视频信息数据量巨大，且会占用极大的存储空间和信道带宽，制约视频通信行业的扩展。在带宽受限的信道中，采用压缩编码技术减少传输数据量，是提高通信速度的重要手段。该文结合当前大数据领域和计算机领域的技术，介绍了黔龙图视“零”损耗、高压缩技术在某市经开区政府治理综合应急指挥平台的应用及优势。
关键词：综合平台；视频压缩；编码标准；视频汇聚；视频分析
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）04-0220-03
1 概述
为认真贯彻落实中央、省、市关于运用大数据提升政治治理能力的要求，在“守底线、走新路，加快某市发展升级版”中切实解决好城市安全、城市建设及管理、社会管理和服务等方面的短板和瓶颈，大力推进大数据共享、开放与运用，充分挖掘大数据的社会价值，由黔龙图视实施的块数据政府治理综合应急指挥平台开发与应用示范项目，融合大数据分析、视频分析、物联网、互联网等技术构建政府综合应急指挥平台，把政府公共安全的痛点和难点集中到平台来处理，实现全区多部门、多单位应急处置资源融合，建立全区日常运行监控体系和突发事件处置期间的应急指挥联动体系。
2 系统架构
2.1 总体布局
本项研究应用以实现应急指挥和管理的高效联动和网络化，升级突发公共事件的监测、预警、处置技术和手段，提升政府应急指挥和管理能力为目的，以“零”损耗高压缩视频编码技术为核心，融合物联网技术、互联网通信技术、大数据分析技术，研发政府综合应急指挥平台，实现全区多部门、多单位应急处置资源融合，建立政府日常运行监控体系和突发事件处置期间的应急指挥联动体系。平台基于“一张城市大数据分析表”实现城市风险隐患日常监测监控，基于“一张城市监控图”实现对突发事件处置全过程的跟踪、指挥和决策分析，提高政府应对突发事件的监测监控、预测预警、信息报告、辅助决策、调度指挥和总结评估的技术支撑能力，打造全国先进的城市管理体系和应对突发事件指挥调度体系。
2.2 平台概述
本项研究的核心任务主要实现四个定位：
监测预警中心：实现覆盖全区的智能化监控、监测系统，快速、准确获取预警信息，实现预警核实、处置、回馈、评估全过程管理。
综合应急指挥中心：实现覆盖全区各类突发公共事件处置的联合指挥平台，实现跨专业联合指挥调度。
公安指挥中心：实现衔接市110等报警信息接口，接处警扁平化指挥；建立多警钟联合指挥体系，实现社会治安事件联合作战指挥。
大数据中心：实现整合全区应急相关资源，建立应急大数据中心，为辅助决策、统计分析、趋势预测提供数据服务。
2.3 五项关键技术概述
2.3.1 “零”损耗、高压缩彩色文档技术
ZCC“零”损耗压缩可检索彩色文档技术基于小波理论为指导的一种压缩技术。在图像压缩处理中，采用小波变化的图像分级、分形彩色图像压缩编码算法。将待压缩图像按频率高低分成若干子图像，分别采用不同的压缩算法，再采用嵌入式编码方式；按不同的组合，得到了多种图像压缩比和解码质量相近的编码方式。
独特优势：
? ZCC技术、确保图像获得高倍压缩的同时，不予损失图像质量为代价，从而确保压缩和图像质量达到和谐统一。极大提高大容量彩色文件在网络窄带环境下的远程传输、查询、浏览速度、提高利用效率。
? ZCC技术的应用，极大节约存储空间，减少网络带宽，提高网络传输速度，节约硬件投入，提高系统整体性能给企业带来显著经济效益。
? ZCC解压缩技术通过独特算法，使读取压缩后的文件占用内存很小，占用显存也很小，做到快速浏览和查看。
2.3.2 ZCV“零”损耗、高压缩视频编码技术
ZCV技术（无损耗压缩视频编码技术）基于离散小波变换和可以同时实现多种伸缩性的编解码，实现动态适应各种视频流的高质量高倍率压缩转化。使其满足网络传输的同时节省存储空间。视频在数据传输和码流效率上较之前的编码算法，将提高80%。针对网络传输流媒体的分辨率越来越大，对于带宽要求也越来越高的情况，可提供类似质量下更小的码率。
ZCC独特优势：（以60分钟1080P@25FPS视频为例）
2.3.3 信息数据利用处理技术
基于ZCC文档处理技术和ZCV视频编码技术，海量图文检索技术，对数据进行识别和检索，通过ZCV智能高清摄像头实时捕捉水、电、气、公安、消防……等部门的数据，并将数据碎片化、结构化，传到云平台进行智能分析、比对、预判后，快速传送到综合应急平台智能生成预警信息，同步推送至上述各部门和相关执法人员的手持终端APP，同时将信息反馈回综合应急指挥平台，从而形成有效的监控循环，使数据在调度、使用、检索方面将达到最优化。
2.3.4 信息数据安全利用加密技术
ZCC的多种安全措施保障了文件的安全性、合法性、原始性、有效性；做到了防抵赖、防篡改、可追溯等措施相结合。
2.3.5 深度学习人脸识别技术
深度神经网络应用于人脸识别，建立基于深度学习的人脸识别系统，该系统包含三个模块：数据预处理模块、深度学习模块和识别模块。
人脸识别主要有两个过程，一个是训练过程，一个是测试过程。首先需要训练网络模型，将得到的模型参数应用于测试样本。图像预处理模块主要是得到尺寸归一化的图片和关键矩形区域。深度学习模块主要是由基础模块层叠的，基础模块的个数根据实验效果灵活选取，可以取1个，2个或3个等等。识别模块是由Softmax回归模型组成的，Softmax回归模型的分类单元数目需要根据實际的问题来确定，如果要分为5类，输出应该是5个单元等等。具体的人脸识别过程如下： （1） 图片预处理。为提高分类精度，需要对图片进行预处理。首先得到尺寸归一化的图片和脸部关键矩形区域，然后分别用PCA进行降维，得到降维后的两组数据，两组数据先通过非线性映射再并排输入到神经网络中。
（2） 构造网络结构。根据输入向量的维数，确定网络输入层、神经元的个数n；根据需要分为几类，确定Softmax回归模型的分类单元数量；最后人为确定由哪种模型作为基础模块，要层叠几个基础模块，每层的神经元数量等等（尽管选取的可能不是最优，但是通过多选取几次，比较他们的识别率，找到最优的一个网络模型）。
（3 ）训练神经网络。假设神经网络是由J个基础模块层叠的。首先训练样本作为第一个基础模块的输入，训练第一个基础模块，得到模型参数ey隐藏层神经元hl；将h1作为第二个基础模块的输入，训练第二个基础模块，得到模型参数B2，隐藏层神经元h2；将h2作为第三个基础模块的输入，训练第三个基础模块，得到模型参数e3，隐藏层神经元h3；将h3作为Softmax回归模型的输入，利用训练样本的标签训练出Softmax分类器的模型参数B4 0。
（4） 精调网络：作为神经网络的初始值，计算整个网络的代价函数，然后通过反复使用反向传播算法逐层调整权值，直到调到最优，随后PCA也纳入到整个网络系统中，对PCA中的权值也进行微调。
（5） 将训练好的网络模型用于测试样本，记录识别率。
3 关键技术的测试论证
3.1 ZCC “零”损耗、高压缩彩色文档技术测试
3.1.1 JPG格式图片压缩测试
3.1.2 TIFF格式图片压缩测试
3.1.3 测试结论
结论：TIF格式的图片经过ZCC技术压缩，压缩比例超过1000倍，JPG格式的图片经过压缩，压缩比例可以超过100倍。
3.2 ZCV“零”损耗、高压缩视频编码技术测试
3.2.1 测试网络拓扑图
3.2.2 测试环境
摄像机网络设置：
摄像机IP地址：52.4.1.222 用户名：admin 密码：admin12345
摄像机存储位置：
52.4.1.138服务器E：＼0001
压缩编码器网络设置：
IP地址：52.4.1.76 用户名：admin 密码：9999
压缩编码器存储位置：
52.4.1.138服务器E：＼0002
测试时间：
摄像机存储时间自2017/2/3 14：10分始至2017/2/10 11：59分终
编码器存储时间自2017/2/3 14：10分始至2017/2/10 11：59分终
共计存储时间6天21小时49分
3.2.3 测试详细结果
.2.4 测试结论
视频数据经过压缩以后，原始视频数据总量为277GB，压缩后的数据总量约为33.4GB，为原始数据的12%，压缩了约88%，达到预期效果。
10GE光网压缩前传输1080P视频大约3000路，压缩后能传输12500路。
通过视频压缩技术，某市的公安局能实现单根10GE光纤进行全区视频实时汇聚，实现实时情况中心可视化。
3.3 信息数据利用处理技术
经过平台的实战测试，得出结论：视频推送的事件、供电等公共设施维护问题，都能及时汇总到管理平台，形成有效的监控循环，使数据在调度、使用、检索方面达到最优化。达到平台设计的预期效果。
3.4 信息数据安全利用加密技术
结论：ZCC文件加密技术，符合实际使用要求，而且ZCC格式文件拒絕修改，非常适合文件的存档。
3.5 智能技术
采用“零”损耗压缩技术将高清视频流压缩后送至人脸识别后台，解决了市面上由于视频网络带宽导致的无法正常工作的问题。
智慧城市、平安城市大规模智能识别时代，无论前端到后台是图片流模式，还是视频流模式，通过黔龙压缩技术再到黔龙智能识别平台，大幅度解决了网络带宽限制问题。
便捷的接口对接：可对接公安现有信息系统，形成统一指挥调度及中心控制分发业务的工作流程。
精确的人脸比对：千万级二代证底库照片，对成年人生活照片的比对，首位命中率可达到90%，前30位命中率可达到99%。
贴近实战的算法优化：通过算法的优化，对比照片不再有正面直视配合好光照的限制，具备真实场景下的可用性。
4 结束语
本项研究结合了互联网通信技术、大数据分析技术，智能视频分析技术，是典型的信息技术产品，是产业发展导向。
（1） 以前端视频采集和智能分析平台为抓手，构建区域应急监测预警体系
采用ZCV实时视频压缩、传输、智能分析等核心技术，进行全区无死角布控，即时发现影响城市公共安全、社会治安、安全生产 、城市综治、自然灾害和生态环境的行为，实现实时监控监测预警。
（2） 以事件模型驱动应急指挥，提升应急指挥智能化水平
建立先进的事件驱动模型，以事件信息触发应急指挥流
程，以规则引擎指导突发事件处置工作，为突发事件处置建立以规则驱动的事件管理引擎，结合多媒体融合技术，提升指挥调度智能化、自动化水平。
（3） 围绕“一张图”和“一张表”打造日常应急管理和突发事件应急指挥信息平台
基于“一张城市监控图”，整合应急相关资源，基于事件驱动模型，实现智能化、可视化指挥调度和决策分析。基于物联网技术实时采集城市关键基础设施状态信息，基于大数据技术形成城市运行状态信息“一张大数据分析表”，及时监测分析城市风险隐患，动态监测城市“生命线”运行状态。
（4） 甄别区域特色，实现区域差异化应急管理
以智慧应急平台建设为牵引，根据不同区域特点建立差异化的应急管理工作重点。在城市居民居住密集区，重点做好治安管理、社区安全等保障体系；在生产企业密集区域，重点做好安全生产监管体系；在商业密集区重点做好突发群体事件管控体系，做好违法犯罪行为处置，能够切实解决当前当地的应急指挥和管理痛点，对经济社会发展，人民安全乐业，资源的合理配置利用具有积极意义。黔龙图视的核心关键技术，拥有自主知识产权的编码标准，具有较高的保密性及安全性， 打破了国际组织和大公司在该领域的垄断地位，具有极高的商用价值与意义。
参考文献：
[1] 齐兵，王群生，杨春玲.H.264解码芯片的比较与研究[J].电视技术，2006（9）：34-36.
[2] 杨付正.数字视频客观质量评估方法研究[D].西安：西安电子科技大学，2005.
[3] 王立.MPEG-2到H.264/AVC数字视频转换编码技术研究及应用[D].天津：天津大学，2007.
[4] 国家应急平台体系建设技术要求（试行）.国务院应急办函，2007（98）号.
关键词：综合平台；视频压缩；编码标准；视频汇聚；视频分析
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）04-0220-03
1 概述
为认真贯彻落实中央、省、市关于运用大数据提升政治治理能力的要求，在“守底线、走新路，加快某市发展升级版”中切实解决好城市安全、城市建设及管理、社会管理和服务等方面的短板和瓶颈，大力推进大数据共享、开放与运用，充分挖掘大数据的社会价值，由黔龙图视实施的块数据政府治理综合应急指挥平台开发与应用示范项目，融合大数据分析、视频分析、物联网、互联网等技术构建政府综合应急指挥平台，把政府公共安全的痛点和难点集中到平台来处理，实现全区多部门、多单位应急处置资源融合，建立全区日常运行监控体系和突发事件处置期间的应急指挥联动体系。
2 系统架构
2.1 总体布局
本项研究应用以实现应急指挥和管理的高效联动和网络化，升级突发公共事件的监测、预警、处置技术和手段，提升政府应急指挥和管理能力为目的，以“零”损耗高压缩视频编码技术为核心，融合物联网技术、互联网通信技术、大数据分析技术，研发政府综合应急指挥平台，实现全区多部门、多单位应急处置资源融合，建立政府日常运行监控体系和突发事件处置期间的应急指挥联动体系。平台基于“一张城市大数据分析表”实现城市风险隐患日常监测监控，基于“一张城市监控图”实现对突发事件处置全过程的跟踪、指挥和决策分析，提高政府应对突发事件的监测监控、预测预警、信息报告、辅助决策、调度指挥和总结评估的技术支撑能力，打造全国先进的城市管理体系和应对突发事件指挥调度体系。
2.2 平台概述
本项研究的核心任务主要实现四个定位：
监测预警中心：实现覆盖全区的智能化监控、监测系统，快速、准确获取预警信息，实现预警核实、处置、回馈、评估全过程管理。
综合应急指挥中心：实现覆盖全区各类突发公共事件处置的联合指挥平台，实现跨专业联合指挥调度。
公安指挥中心：实现衔接市110等报警信息接口，接处警扁平化指挥；建立多警钟联合指挥体系，实现社会治安事件联合作战指挥。
大数据中心：实现整合全区应急相关资源，建立应急大数据中心，为辅助决策、统计分析、趋势预测提供数据服务。
2.3 五项关键技术概述
2.3.1 “零”损耗、高压缩彩色文档技术
ZCC“零”损耗压缩可检索彩色文档技术基于小波理论为指导的一种压缩技术。在图像压缩处理中，采用小波变化的图像分级、分形彩色图像压缩编码算法。将待压缩图像按频率高低分成若干子图像，分别采用不同的压缩算法，再采用嵌入式编码方式；按不同的组合，得到了多种图像压缩比和解码质量相近的编码方式。
独特优势：
? ZCC技术、确保图像获得高倍压缩的同时，不予损失图像质量为代价，从而确保压缩和图像质量达到和谐统一。极大提高大容量彩色文件在网络窄带环境下的远程传输、查询、浏览速度、提高利用效率。
? ZCC技术的应用，极大节约存储空间，减少网络带宽，提高网络传输速度，节约硬件投入，提高系统整体性能给企业带来显著经济效益。
? ZCC解压缩技术通过独特算法，使读取压缩后的文件占用内存很小，占用显存也很小，做到快速浏览和查看。
2.3.2 ZCV“零”损耗、高压缩视频编码技术
ZCV技术（无损耗压缩视频编码技术）基于离散小波变换和可以同时实现多种伸缩性的编解码，实现动态适应各种视频流的高质量高倍率压缩转化。使其满足网络传输的同时节省存储空间。视频在数据传输和码流效率上较之前的编码算法，将提高80%。针对网络传输流媒体的分辨率越来越大，对于带宽要求也越来越高的情况，可提供类似质量下更小的码率。
ZCC独特优势：（以60分钟1080P@25FPS视频为例）
2.3.3 信息数据利用处理技术
基于ZCC文档处理技术和ZCV视频编码技术，海量图文检索技术，对数据进行识别和检索，通过ZCV智能高清摄像头实时捕捉水、电、气、公安、消防……等部门的数据，并将数据碎片化、结构化，传到云平台进行智能分析、比对、预判后，快速传送到综合应急平台智能生成预警信息，同步推送至上述各部门和相关执法人员的手持终端APP，同时将信息反馈回综合应急指挥平台，从而形成有效的监控循环，使数据在调度、使用、检索方面将达到最优化。
2.3.4 信息数据安全利用加密技术
ZCC的多种安全措施保障了文件的安全性、合法性、原始性、有效性；做到了防抵赖、防篡改、可追溯等措施相结合。
2.3.5 深度学习人脸识别技术
深度神经网络应用于人脸识别，建立基于深度学习的人脸识别系统，该系统包含三个模块：数据预处理模块、深度学习模块和识别模块。
人脸识别主要有两个过程，一个是训练过程，一个是测试过程。首先需要训练网络模型，将得到的模型参数应用于测试样本。图像预处理模块主要是得到尺寸归一化的图片和关键矩形区域。深度学习模块主要是由基础模块层叠的，基础模块的个数根据实验效果灵活选取，可以取1个，2个或3个等等。识别模块是由Softmax回归模型组成的，Softmax回归模型的分类单元数目需要根据實际的问题来确定，如果要分为5类，输出应该是5个单元等等。具体的人脸识别过程如下： （1） 图片预处理。为提高分类精度，需要对图片进行预处理。首先得到尺寸归一化的图片和脸部关键矩形区域，然后分别用PCA进行降维，得到降维后的两组数据，两组数据先通过非线性映射再并排输入到神经网络中。
（2） 构造网络结构。根据输入向量的维数，确定网络输入层、神经元的个数n；根据需要分为几类，确定Softmax回归模型的分类单元数量；最后人为确定由哪种模型作为基础模块，要层叠几个基础模块，每层的神经元数量等等（尽管选取的可能不是最优，但是通过多选取几次，比较他们的识别率，找到最优的一个网络模型）。
（3 ）训练神经网络。假设神经网络是由J个基础模块层叠的。首先训练样本作为第一个基础模块的输入，训练第一个基础模块，得到模型参数ey隐藏层神经元hl；将h1作为第二个基础模块的输入，训练第二个基础模块，得到模型参数B2，隐藏层神经元h2；将h2作为第三个基础模块的输入，训练第三个基础模块，得到模型参数e3，隐藏层神经元h3；将h3作为Softmax回归模型的输入，利用训练样本的标签训练出Softmax分类器的模型参数B4 0。
（4） 精调网络：作为神经网络的初始值，计算整个网络的代价函数，然后通过反复使用反向传播算法逐层调整权值，直到调到最优，随后PCA也纳入到整个网络系统中，对PCA中的权值也进行微调。
（5） 将训练好的网络模型用于测试样本，记录识别率。
3 关键技术的测试论证
3.1 ZCC “零”损耗、高压缩彩色文档技术测试
3.1.1 JPG格式图片压缩测试
3.1.2 TIFF格式图片压缩测试
3.1.3 测试结论
结论：TIF格式的图片经过ZCC技术压缩，压缩比例超过1000倍，JPG格式的图片经过压缩，压缩比例可以超过100倍。
3.2 ZCV“零”损耗、高压缩视频编码技术测试
3.2.1 测试网络拓扑图
3.2.2 测试环境
摄像机网络设置：
摄像机IP地址：52.4.1.222 用户名：admin 密码：admin12345
摄像机存储位置：
52.4.1.138服务器E：＼0001
压缩编码器网络设置：
IP地址：52.4.1.76 用户名：admin 密码：9999
压缩编码器存储位置：
52.4.1.138服务器E：＼0002
测试时间：
摄像机存储时间自2017/2/3 14：10分始至2017/2/10 11：59分终
编码器存储时间自2017/2/3 14：10分始至2017/2/10 11：59分终
共计存储时间6天21小时49分
3.2.3 测试详细结果
.2.4 测试结论
视频数据经过压缩以后，原始视频数据总量为277GB，压缩后的数据总量约为33.4GB，为原始数据的12%，压缩了约88%，达到预期效果。
10GE光网压缩前传输1080P视频大约3000路，压缩后能传输12500路。
通过视频压缩技术，某市的公安局能实现单根10GE光纤进行全区视频实时汇聚，实现实时情况中心可视化。
3.3 信息数据利用处理技术
经过平台的实战测试，得出结论：视频推送的事件、供电等公共设施维护问题，都能及时汇总到管理平台，形成有效的监控循环，使数据在调度、使用、检索方面达到最优化。达到平台设计的预期效果。
3.4 信息数据安全利用加密技术
结论：ZCC文件加密技术，符合实际使用要求，而且ZCC格式文件拒絕修改，非常适合文件的存档。
3.5 智能技术
采用“零”损耗压缩技术将高清视频流压缩后送至人脸识别后台，解决了市面上由于视频网络带宽导致的无法正常工作的问题。
智慧城市、平安城市大规模智能识别时代，无论前端到后台是图片流模式，还是视频流模式，通过黔龙压缩技术再到黔龙智能识别平台，大幅度解决了网络带宽限制问题。
便捷的接口对接：可对接公安现有信息系统，形成统一指挥调度及中心控制分发业务的工作流程。
精确的人脸比对：千万级二代证底库照片，对成年人生活照片的比对，首位命中率可达到90%，前30位命中率可达到99%。
贴近实战的算法优化：通过算法的优化，对比照片不再有正面直视配合好光照的限制，具备真实场景下的可用性。
4 结束语
本项研究结合了互联网通信技术、大数据分析技术，智能视频分析技术，是典型的信息技术产品，是产业发展导向。
（1） 以前端视频采集和智能分析平台为抓手，构建区域应急监测预警体系
采用ZCV实时视频压缩、传输、智能分析等核心技术，进行全区无死角布控，即时发现影响城市公共安全、社会治安、安全生产 、城市综治、自然灾害和生态环境的行为，实现实时监控监测预警。
（2） 以事件模型驱动应急指挥，提升应急指挥智能化水平
建立先进的事件驱动模型，以事件信息触发应急指挥流
程，以规则引擎指导突发事件处置工作，为突发事件处置建立以规则驱动的事件管理引擎，结合多媒体融合技术，提升指挥调度智能化、自动化水平。
（3） 围绕“一张图”和“一张表”打造日常应急管理和突发事件应急指挥信息平台
基于“一张城市监控图”，整合应急相关资源，基于事件驱动模型，实现智能化、可视化指挥调度和决策分析。基于物联网技术实时采集城市关键基础设施状态信息，基于大数据技术形成城市运行状态信息“一张大数据分析表”，及时监测分析城市风险隐患，动态监测城市“生命线”运行状态。
（4） 甄别区域特色，实现区域差异化应急管理
以智慧应急平台建设为牵引，根据不同区域特点建立差异化的应急管理工作重点。在城市居民居住密集区，重点做好治安管理、社区安全等保障体系；在生产企业密集区域，重点做好安全生产监管体系；在商业密集区重点做好突发群体事件管控体系，做好违法犯罪行为处置，能够切实解决当前当地的应急指挥和管理痛点，对经济社会发展，人民安全乐业，资源的合理配置利用具有积极意义。黔龙图视的核心关键技术，拥有自主知识产权的编码标准，具有较高的保密性及安全性， 打破了国际组织和大公司在该领域的垄断地位，具有极高的商用价值与意义。
参考文献：
[1] 齐兵，王群生，杨春玲.H.264解码芯片的比较与研究[J].电视技术，2006（9）：34-36.
[2] 杨付正.数字视频客观质量评估方法研究[D].西安：西安电子科技大学，2005.
[3] 王立.MPEG-2到H.264/AVC数字视频转换编码技术研究及应用[D].天津：天津大学，2007.
[4] 国家应急平台体系建设技术要求（试行）.国务院应急办函，2007（98）号.