面向视频图像的大数据处理平台架构研究分析

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:yaozi303
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着移动互联网和传统互联网的飞速发展,每天都有着数量众多的文档、图像和视频在互联网上出现。目前,互联网上的视频图像数据量已经达到了PB级别,而且它们还将会急速地增长,这表明人们已经进入到了海量视频图像数据的时代。面对数量如些庞大的视频图像数据,传统的平台已经无法对如此海量视频图像数据进行处理,而且传统的数据库对于视频图像这种非结构化的数据也不能很好地存储。因此,如何建立面向视频图像的高效且易扩展的大数据处理平台来满足海量视频图像的存储与管理,并为视频图像的处理提供所需要的服务,这成为了研究的重点。面对这个问题,本文设计了一个面向视频图像的大数据处理平台,为海量视频图像数据提供了存储、计算与检索功能。在这个大数据平台中,主要依据视频图像的内容特征进行数据的存储与检索。整个大数据平台是由Hadoop和HBase所组成的,Hadoop完成对海量视频图像数据的分布式并行计算,而HBase则完成对海量视频图像数据的分布式存储。针对图像数据,采用SIFT算法来对图像的内容特征进行提取,并使用局部敏感哈希函数将提取得到的特征描述子转化为索引,把相似的特征值映射到同一个哈希桶中并对相关数据进行存储;而对于视频数据,采用颜色直方图的方式来对其进行镜头分割,并对分割后的镜头进行关键帧提取,随后按照图像数据的处理方式对关键帧进行处理,并把相关信息进行存储。在检索时,对需要检索的视频图像数据进行特征提取并构建索引,依据索引在HBase数据表中进行检索并将最相似的N个结果返回给用户。面向视频图像的大数据处理平台采用的是主从式的架构模式来进行搭建的,使得平台具有很好的扩展性和容错性。在实验中使用视频图像数据对大数据平台进行性能测试,测试的结果查表明面向视频图像的大数据平台可以有效地处理海量的视频图像数据,克服了传统数据处理平台的不足之处。而且,大数据平台可以快速而有效地对平台中视频图像数据的进行检索并返回给用户。
其他文献
随着信息技术的飞速发展,当今社会已迈入大数据、云计算的时代。信息传播速度更快、接收范围更广、传播手段和方式更为多元、传播内容更具冲击力和震撼力,这些特性潜移默化地
近年来,大数据发展迅猛,并带动相关产业迅速发展。与此同时,大数据人才需求缺口巨大,因此高校纷纷开设大数据专业。本文首先分析了大数据专业建设与人才培养的现状,包括现阶
随着社会经济的不断进步发展,人们的生活质量有着大幅度的提升,现阶段餐饮行业的规模呈现出增大的发展趋势,因此对于烹饪专业的人才提出了更高的要求。本文将简要分析冷菜工
<正>一、创新课堂教学模式的意义《科学课程标准(3-6年级)》指出该课程的总目标是:通过科学课程的学习,知道与周围常见事物有关的浅显的科学知识,并能应用于日常生活,逐渐养
标题化合物是一类重要的药物中间体,对其合成已有多种制备方法,偶极成环法是一类比较特殊的制备方法,适合特定的异唑类化合物的制备,且具有一定的方法学研究意义。综述了近
采用二次回归正交实验设计方法,对铸造高合金冷作模具钢的热处理工艺参数进行了优化设计,得到了能够描述淬火温度和回火温度对该冷作模具钢硬度影响规律的数学模型。结果表明
手性环氧氯丙烷作为医药和化工等领域的重要中间体,可以从廉价的外消旋体中分离得到,具有广阔的市场前景.综述了它的生物和化学法制备进展,及其在药物合成方面的应用,并展望
本文对《越人歌》作了新的释读,试图提出一个较为准确的全译文本,并探讨了古越语和汉语的关系问题。文中利用了汉语古音研究的最新成果。
作为"重大国家战略"的"京津冀一体化"日益引起社会各界的高度重视,推动其进程的加快,首先要解决的就是该区域的资源环境问题,而北京作为该经济圈的核心,其资源环境问题的解决
<正>搭载了e控系统的安凯第5代纯电动客车正式亮相,最高续驶里程可达500 km,预计2014年内推向市场。2014年9月3日,安凯在合肥成功发布了新能源e控系统。与此同时,搭载了该系