大数据平台让视频更智能

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:Lyben
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  我国智慧城市战略已经实施了多年,全面提升了城市的管理和服务能力。而从数据上来看,市民感受城市最直接的变化就是摄像头密集度越来越高。而且,很多城市都已经开始实施“天眼工程”,为的就是实现对城市全方位无死角的监控。密集分布的摄像头网络组成了城市的公共安全视频监控系统,也提升了一个城市治安、交通、消防、市政、城管等各部门的整体管理和服务水平。
  海量视频数据带来的挑战
  随着视频监控数据量的快速增长,以及摄像头高清化、超高清化的趋势加强,视频监控数据规模将以更快的指数级别增长。以一个部署了1万个摄像头的中等城市为例,假定每个摄像头每秒压缩视频数据量为1Mb(比特),则一天共产生108TB的视频录像,一个月共产生约3PB的视频录像。
  现在,新的问题出来了,摄像头7×24小时地录制视频,让每个城市都产生了大量的视频监控文件。但是,当公安部门或交通部门希望快速搜索某时间或某些特征的视频段时,这个看似简单的想法,操作起来却犹如大海捞针。
  与通常的结构化数据不同,视频监控业务产生的数据绝大多数以非结构化的数据为主,必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理。这些都给传统视频监控体系架构、数据的管理方式、数据分析,以及视频监控数据的传输、存储和计算带宽等带来了极大的挑战。
  挑战一:数据量的急剧扩大和IT投资之间的矛盾。按照IT产业的法则:在满足客户需求的前提之下,往往技术成本越低,其生命力越强。由于数据量的急速扩大,以及随之而来的大规模计算的需求越来越多,一味采用高配硬件,使得硬件投资成为客户不可承受之重,客户越来越希望在满足需求的前提下,用中低端的 硬件来替换高配硬件。
  挑战二:海量数据和有效数据之间的矛盾。摄像头7×24小时地工作如实记录镜头覆盖范围内所发生的一切。但是,大部分视频监控信息是无效的,有效信息可能只分布在一个较短的时间段内,按照数学统计的说法,信息是呈现幂律分布的,也称之为信息的密度,往往越高密度的信息对客户价值越大。
  挑战三:资源利用和效率之间的矛盾。随着视频监控数据量的增加,哪怕对TB级别的数据进行视频内容的数据分析和检索,采用传统方式都可能需要花费数小时的计算,这远远不能胜任时效性的需求。视频的分析和检索,不能依赖于传统的手段,视频智能分析必须寻找新的突破。
  因此,想要从如此海量的视频监控文件检索到所需的视频信息,必须借助特殊的技术帮忙。
  改造传统数据处理架构
  大数据理念和开源生态系统Hadoop的诞生,激活了各行业的思路。IT领域开始采用基于Hadoop的大数据技术框架对视频文件进行存储和计算,使得城市各部门的工作人员可以实现对视频的快速检索和智能分析。
  视频监控的大数据平台一般以分布式集群的方式进行建设。分布式集群能够对数据处理进行负载均衡,同时,也便于未来一段时间进行扩展。而扩展的过程也无需重新部署系统,只需增加集群节点即可提升大数据平台的整体性能。
  视频监控的大数据平台采用分布式计算,同时结合内存加速、负载均衡、本地处理,以提供高效的数据分析和挖掘能力。视频监控大数据处理过程中的存储则采用了分布式存储方式,以提高读写速度和扩大存储容量。在数据存储方面,大数据平台需要考虑以下3个方面:一是哪些数据需要保存到大数据平台上;二是如何对原有系统进行改造,原有系统中已存在的数据该如何处理;三是如何保证数据的可靠性。
  实践证明,基于大数据框架改造的传统视频处理系统架构能焕发出新的活力。首先,架构更加灵活,伸缩弹性更大。一些城市的中大型项目,由于起点的差异,缺乏视频监控架构的顶层设计,为后期的扩容升级增大了难度。在建设初期,IT规划者如果能引入基于大数据的架构,就会为未来的扩张打开通路。
  其次,可以以廉价通用的硬件产品应对视频监控数据的爆发性增长。在面向大数据的架构中,IT规划者后期可以根据视频监控业务的部署需要,设立多个HDFS(Hadoop分布式文件系统)集群,采集的流数据会被划分成段,并分布于各个数据节点上。更为重要的是,这些数据节点可以采用廉价通用型的硬件,由软件技术保证其高可靠性。这种方式避免采用传统高端硬件模式,大大降低了大数据平台的后续运维成本。
  最后,可以通过高速并行计算实现智能分析和数据挖掘。对于城市管理者来说,面对海量的视频监控数据,传统人工和串行的数据筛选方式已不能满足搜索和分析要求。基于大数据的架构就是将海量数据分解为较小的更易访问的批量数据,在多台服务器上并行分析处理,从而大大加快视频数据的处理进程。
  视频大数据的智能应用
  以2012年在南京发生的“1·6”抢劫案为例,在案件侦破过程中,南京警方从全市1万多个摄像头共提取了近2000TB的视频数据,为了处理这些视频,调动 1500多名公安干警查阅搜索视频线索,共耗时一个多月的时间。很显然,通过人工查看模式,一段视频往往需要数倍于视频时间才能审看完,因此需要大量工作人员连续加班进行视频的审查,就不足为奇。
  即便如此,人海战术仍然会影响公安部门破案的进度和效率,而且也使得工作人员把过多的精力耗费在查找视频线索上来。如果这时候,有一个视频监控的大数据平台就可以在短时间内对视频中运动的物体进行检索和排除,从而大大提高公安部门的办案效率。
  时至今日,视频监控的大数据平台已经被成熟地应用于智能交通,可以轻松监控摄像覆盖范围内的所有车辆的行驶状态、运行轨迹,快速分析出其是否违章。2015年1月8日上午,在宁连高速上,一辆白色轿车飞速行驶,车内仪表盘上的时速指针已接近200公里/小时。
  与此同时,南京市高速七大队指挥室内,执勤的交警正在通过大屏幕监控着过往的车辆。当这辆白色轿车飞驰而过时,路边的测速设备捕捉到这辆车的时速已达到180公里/小时。交警利用监控探头锁定了这辆车,当车接近收费站时,司机将车停了下来,绕到车尾将号牌上一个蓝色东西撕下,随后继续往收费站驶去。
  几分钟后,当这辆白车进入了收费站时,早已在此等候的交警立即上前将车拦截。当交警递上了车辆超速照片,司机指着车牌刚想狡辩,交警又递上另一张这位司机正在撕号牌贴的照片。顿时,这位司机哑口无言,乖乖认罚。
  据了解,南京市交管部门全面升级警务系统,启用视频巡查机制,利用现代化的高科技手段,将交通管理搬上网络视频大数据平台,利用布控在全城的道路监控系统,实现日常事务的智慧化管理。
  同时,在智能交通领域,视频监控的大数据平台还可以落地很多以前无法实现的操作。例如,实时交通状况分析,通过视频实时分析道路交通流量,然后综合分析统计出全城市的交通状况;汽车套牌的行为,通过视频进行车牌识别,按照一定的规则在全城检索相同车牌的汽车;犯罪嫌疑车辆追查,输入嫌疑车的照片或颜色车型等相关特征在所有视频中寻找;犯罪嫌疑人追查,通过输入嫌疑人照片进行人脸特征识别并在所有视频中寻找该人脸;人车物的轨迹分析,在所有视频中按照特征查找指定的人车物并绘制其时空轨迹等。
  显然,视频监控的大数据框架是一种革命性的技术,特别在实时智能分析和数据挖掘方面,让视频监控从人工抽检进步到高效事前预警和事后分析,实现智能化的信息分析和预测,为视频监控领域业务带来深刻的变革。
其他文献
一年之计在于春,春节刚过,存储圈里就好事连连。先是曙光公司发布公告称,将与乔鼎资讯股份有限公司等共同投资设立合资公司——曙光存储科技有限公司,曙光持股比例60%。紧接着,2月16日,曙光又与NetApp公司达成战略合作,并在北京签署了合作备忘录,双方的多位高层领导出席签约仪式,表现出对此次合作的重视。  其实,曙光与NetApp双方合作已经超过十年。俗话说,十年修得同船渡,在多年合作的基础上,此次
本报讯 12月21日,重庆官方召开会议解读《重庆市发展智能制造实施方案(2019—2022年)》(简称《实施方案》),全面布局未来4年智能制造发展。  其目标是到2022年,重庆市智能制造进一步深入,累计推动5000家企业实施智能化改造,建设10个具备国内竞争力的工业互联网平台、50个智能工廠、500个数字化车间,创建25个行业级智能制造标杆企业,建设12个智能制造示范园区,基本建成覆盖重点行业的
本报讯 3月9日至11日,中國家电及消费电子博览会(AWE)在上海隆重举行。AWE 2017以“智慧生活,全球平台”为主题,在秉承和巩固以家电为主角的传统优势的同时,融合消费电子的潮流趋势,对智能生态产业给予特别关注。  在AWE 2017上,全球连接和传感领域领军企业TE Connectivity(TE)展示了最新的智能家居连接产品和创新技术,来自TE的专家们分享了关于智能家居发展的见解,并展示
2017年是蓝盾股份上市五周年以来锐意创新、硕果满载的一年。作为智慧安全领导者,蓝盾股份持续推进“大安全”产业发展战略,依靠“内生 外延”双轮提供的强劲驱动,在网络安全行业进行积极地前沿探索,不仅业务板块得到了迅速发展和扩张,经营亦连年取得耀眼佳绩。  6月28日,2017蓝盾股份新产品发布会在北京隆重举行。本次发布会以“智慧安全 御见未来”为主题,蓝盾股份副董事长兼总裁柯宗贵、高级副总裁韩炜和业
本报讯 在第五届世界互联网大会上,阿里云宣布将设立合作伙伴成长计划,用于支持supET平台的生态建设。  阿里云介绍,supET作为唯一的工业互联网平台获选世界互联网领先科技成果。推出的“1 N”开放协同发展模式得到认可:以supET平台为核心基础、同时建设N个行业级区域级企业级平台,有望解决工业互联网面临的N个行業与众多技术领域难以跨界合作的问题。目前,已有200多家生态参与方、10多个行业级区
现在流行的说法是“软件定义”、“未来是属于超融合的”……宏杉科技从来不认为,一项技术可以定义整个世界,能够定义这个世界的只有业务和需求。业务定义IT,这是宏杉科技所推崇和认可的方向。  看看今天用户的存储采购标书,依旧标明的是存储控制器的数量、硬盘的数量、缓存的大小……即使采购到符合这些指标的存储设备,就能保证它可以满足应用的需求吗?在未来三至五年甚至十年内,就可以持续满足整个数据生命周期管理的需
本报讯 近日,中国首家干线物流联合创新中心在上海国际汽车城汽车创新港正式啟动, 该中心由嬴彻科技和上海汽车城汽车创新港联合发起。该中心旨在聚集产业智慧,加速商用车自动驾驶技术的产业化进程,推进物流行业的效率提升。
根据国际数据公司IDC近日的数据报告,全球智能家居设备市场预计2018年将同比增长31%,出货量达到6.439亿。整个智能家居市场预计到2022年将达到近13亿台设备的出货量,五年的年复合增长率(CAGR)为20.8%。智能扬声器将成为增长最快的类别,其五年的年復合增长率为39.1%,2018年将达到近1亿台,且到2022年达到近2.305亿台。
本报讯 6月20日,在德国举行的超算大会(ISC)公布的最新超级计算机500强(Top 500)榜单中,我国研制的神威·太湖之光计算机系统勇夺世界第一。  神威·太湖之光是在国家“863计划”支持下,由国家并行计算机工程技术研究中心研制。  根据Top 500排名公布的数据,该系统峰值运算性能达到125.436PFlops(千万亿次浮点运算/秒),持续运算性能为93.015PFlops,性能功耗比
概念内涵  智能服务是智能产品、实体服务和数字化服务相结合的不同类型服务组合,是工业4.0制造的智能产品组成的价值链,该服务可以作为一种柔性的“按需服务”来销售。  重要特征  智能服务平台打破“智能孤岛”的局面,通过“终端 数据 内容 服务”的智能商业模式,联合产业链中的技术、内容、服务合作等,全面带动智能行业发展,实现多方优势互补,打造合作共赢的智能商业生态体系。  深度应用  智能家居是以住