海量流数据存储系统高性能缓冲节点的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:shizex
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现如今,随着智慧城市的建设以及智能交通的发展。城市的建筑以及道路都会安装大量监控摄像头。那么如何高效的处理这些海量的视频数据就会成为智慧城市建设的一大难点。在智慧城市中,摄像头数量多,并且类型多样。这样就会造成数据带宽巨大,并且由于类型多样的问题,很有可能造成的就是视频格式的不统一。这样会给流式数据存储造成巨大的困难。所以设计一个高吞吐,低延时,高可用的分布式流式数据存储系统将是智慧城市的建设的关键核心。而在流数据存储系统,一个高性能的缓冲节点的设计将是整个系统的瓶颈所在。如何设计流式数据存储系统的高性能缓冲节点是本文的工作:1)封装了视频流式数据的交互协议,并且设计了与集群的其他类型节点的交互协议。考虑到视频数据的实时性。这边采用RTSP协议进行流式数据的交互。在本次实验中,进行RTSP协议的封装。处理了所有的RTSP协议报文,也封装了缓冲节点与元数据节点的协议交互,实现了注册,心跳等功能。2)优化了接受视频流式数据的缓冲框架。缓冲框架是缓冲节点的核心设计部分。本文设计了一个能够应对视频流式数据实时性的缓冲框架。并且视频流式数据的还有一个特点是数据量大,那么对于内存的消耗也是必定开销巨大。缓冲节点需要考虑尽量节省内存资源。本文设计的缓冲框架实现了内存复用,内存复用不仅解决了节省内存的问题。并且减少了内存分配和内存销毁的开销。3)优化了读写任务的调度方式。如果不更改调度方式,采用传统的FIFO的方式来进行读写任务的调度,那么势必会造成对磁盘IO的不友好,降低磁盘的读写效率。4)设计了视频流式数据的块管理方案:本系统的视频流式数据采用块管理的方式,来对数据进行管理。会对每一个视频块数据都打上相关的元数据标签。每次的IO操作都会通过元数据标签来操作对应的视频块数据。
其他文献
自然场景下的文本检测是自然场景图像信息提取的基础,在车牌识别、实时翻译、图像检索等领域具有广泛的应用价值及研究意义。基于连通区域的方法是自然场景文本检测中最为常见的方法,其中最大稳定极值区域(Maximally Stable Extremal Regions,MSER)算法和颜色聚类算法都有着广泛的应用。针对传统MSER算法及传统颜色聚类算法的局限性,本文提出基于图像增强MSER与改进颜色聚类的自
视频标注涉及到计算机视觉和自然语言处理两个领域,是一个非常有挑战性的任务。同时,视频标注也有非常广泛的实际应用前景。现阶段,完全用人工的方式进行视频标注无疑可以获
随着互联网技术的发展和移动设备的普及,基于互联网的景点、酒店等个性化信息服务日益增多,这些信息数据的重要性也日趋凸显。面对日渐积累的庞大的信息数据,如何从这些数据资源中发现出更深层次的联系和规律而非表面的关系成为了国内外学者研究的热点。作为数据挖掘领域中的重要方法,空间密度聚类算法与特征加权算法被广泛地应用于数据分析与处理中。论文通过对景区兴趣点信息及景区文本数据进行分析,采用空间密度聚类算法DB
图像显著性检测通过模拟人类视觉注意机制自动过滤图像中的冗余信息,检测出显著区域,使其在诸如图像分割、图像缩放剪辑、图像检索以及目标重定位等领域有着广泛的应用前景。
物理教师的物理学科教学知识(Physical Pedagogical Content Knowledge,简称PPCK)是一种将物理学科知识以学生最能够接受的形式进行教学的物理教学知识。它是物理知识与教学知识有机结合的教师知识,对教师的教学行为有很大的影响。本文根据Shulman的学科教学知识(Pedagogical Content Knowledge,简称PCK)相关理论设计了一个包含关于学生的
车载雷达作动系统由众多零件装配而成,零件装配特征误差的累积会直接影响车载雷达天线阵面的位姿精度,从而对雷达工作性能造成影响。传统公差分析与设计往往以二维尺寸链为主,难以有效地表达公差之间的耦合关系以及机构末端零件的位姿要求。三维公差分析通过在三维空间上描述装配特征的变动,能够将二维尺寸链无法表达的公差耦合关系引入机构的装配误差传递模型,使得装配误差的分析结果更加直观和精确。本文以车载雷达作动系统中
在高智能化、信息化、数字化的时代背景下,所需处理的数据量剧增,再加上人们对数据处理效率及速度的要求越来越高,因此,传统的奈奎斯特采样定理已进入瓶颈期。压缩感知的提出
RC4流密码算法广泛应用于网络安全传输、流媒体加密、电子信息加密等领域。随着互联网时代的高速发展,信息网络提供更多便捷服务的同时安全问题也悄然增多,RC4算法受到严重威胁,面临严峻挑战。针对RC4算法密钥流序列随机性不高,易受故障引入攻击、区分攻击、状态猜测攻击和“受戒礼”攻击的问题,提出一种基于椭圆曲线和随机数产生器的RC4改进算法。首先,在密钥编制算法中利用随机比特产生器和随机大素数生成种子密
听觉中脑编码周期性信号时频特征的机制之一是锁相反应,其编码信息向上传递至更高级中枢供其整合以实现听觉系统的言语感知。然而听觉中脑的锁相编码机制如何影响听觉言语感知尚不确定。本文第一部分研究了引发听觉中脑神经元锁相编码的具有不同时序调制特性的谐波复合体对中文言语感知的影响。选取手工标注好声韵母边界的中文语音感知语料库,改造语音样本中的韵母段语音为4种谐波复合体,其它部分不变,得到4种改造言语信号,连
数据挖掘是从数据中挖掘有用、有趣的知识的过程,关联规则挖掘是数据挖掘的主要功能之一,其目的是发现事务项之间存在的隐含关联。随着人们进入大数据时代,传统的单机关联规则挖掘算法已难以满足需求,表现出挖掘时间过长、内存无法处理待挖掘数据等问题,这促进了大数据关联规则挖掘算法的研究。在目前的大数据关联规则挖掘算法的研究中,大多是基于MapReduce并行计算模型、Hadoop分布式平台实现,并行算法的整体