船舶监控系统中海量数据处理技术研究

被引量 : 0次 | 上传用户:xxq0108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,船舶监控系统正在向自动化、智能化、数字化方向发展,因此造成监测数据量的大量增加,导致系统处理数据能力下降,系统响应性能急剧降低。而在船舶监控系统中,如何从海量的监测数据中方便、快捷地查询与获取用户所需的监测信息是用户极为关注的问题之一。Hadoop平台是目前应用广泛、操作简单的开源免费云计算开发平台,可利用集群的方式提高大规模数据的处理能力。为此,本文将Hadoop平台引入船舶监控系统实现中,重点对基于Hadoop平台的海量数据处理技术进行研究,论文的主要研究内容如下:(1)给出了基于Hadoop平台的船舶监控系统框架,该框架主要由系统应用层、中间件层和数据存储层组成,其中中间件层是系统的核心层。(2)提出了一种基于Hadoop平台的分布式查询算法。借鉴分布式查询技术相关概念与结构,在TPUT查询算法的基础上,加入直方图动态划分思想,提出了一种效率更高的ITPUT查询算法,并将其应用到Hadoop平台上。(3)设计了一种基于Hadoop平台的作业调度算法。针对Hadoop平台上原有作业调度算法的不足,设计了一种新的作业调度算法,该算法从快慢节点的判定、优先级的判定和负载均衡动态调整三方面建立模型。另外与MapReduce计算模型有机结合,能够较好的解决海量数据处理中的数据本地性问题,降低系统消耗。(4)完成了基于Hadoop平台的船舶监控系统的设计及主要功能开发。重点描述了基于Hadoop平台的ITPUT分布式查询算法和Three-Queue调度算法的实现细节,给出系统主要运行界面。
其他文献
边贫山区基础教育的困境与对策岳西县教委华德耀《中国教育改革和发展纲要》明确提出了在全国基本普及九年义务教育的九十年代基础教育发展目标。对于边黄山区来说,要在这么短
近几年来,艺术人类学在国内学界受到瞩目,发展势头迅猛。究其原因,一是国内非遗质文化遗产保护工作的促动,自2003年以来,中国从国家层面推动了非遗保护工作的开展,非遗诸多项目实际
报纸
在车流量较大、道路宽度较大的行人过街处,行人过街有一定的困难,特别是老年人等弱势群体过街困难,容易因等待时间超过等待心理极限而造成违章过街,行人过街最小绿灯时间对机
大陆架划界问题一直是一个争论不休的问题,争论主要围绕两国间的大陆架划界需用什么原则。目前大陆架划界的原则主要有自然延伸原则、成比例原则、等距离中间线原则和公平原
混沌理论是各类系统科学的基础科学理论,其蝴蝶效应等相关原理对各个教育、教学学科领域都有重要意义。本文在分析和介绍混沌基本原理的基础上,阐述了混沌理论在体育教学研究
<正>过去十年间,中国光伏取得了一系列令人瞩目的成绩。数据显示,2018年多晶硅占全球市场份额高达57.8%、硅锭硅片占89.6%,光伏电池与组件分别占72.6%与72.0%。目前,中国已迅
“的”与“得”是现代汉语中非常重要的结构助词。汉语是典型的意合型语言,在表情达意时需要借助广义的形态,结构助词就是其中的一种。“的”与“得”在现代汉语中使用广泛,
目的:分析昆山市第一人民医院(以下简称"我院")抗肿瘤药的使用情况,为该类药的合理使用提供参考。方法:采用销售金额排序法和用药频度分析法,对我院2011—2013年抗肿瘤药使用情况进
复杂网络为分析系统性金融风险和系统重要性机构提供了全局性视角,但由于数据获取上的局限,我国银行系统网络构建存在困难。利用贝叶斯方法和2013—2015年银行资产负债数据构
一直以来,我都在思考一个问题:究竟哪些育人模式和环节更能产生教育效益?$$回答这一问题得回溯到九年之前。2010年,北京十一学校开始推进以选课组班为主要教学组织方式及育人模式
报纸