基于MapReduce的AIS数据挖掘算法并行化研究

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:napone
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着船舶自动识别系统(Automatic Identification System,AIS)技术的不断发展以及船舶数量的不断增加,船舶AIS数据量也呈现出爆发式的增长势态。传统的数据挖掘方式已经不能满足当前高效的数据处理需求,因此需要更加有效的技术方法来提升数据挖掘算法的处理效率。分布式数据处理技术的出现为AIS大数据的高效处理提供了新的解决思路,使用MapReduce分布式计算框架对算法进行并行化设计已经成为了数据挖掘领域重要的研究方向。本文使用MapReduce分布式计算框架对轨迹压缩算法和聚类算法进行了并行化设计,将并行化算法应用于船舶AIS数据的数据挖掘之中,在保证算法处理效果的前提下,大幅提高了数据挖掘算法的处理效率。具体取得的研究成果如下:(1)针对船舶AIS数据的数据特征,提出了一种两次分段的船舶轨迹分段策略,通过分段处理增强了轨迹段的连续性,有效降低了分布式处理中数据倾斜程度,为分布式处理提供了良好的数据条件。(2)结合MapReduce分布式处理的特性及各种轨迹压缩算法的特点,在船舶轨迹数据压缩处理中引入了局部处理结合全局优化的思想,提出了一种基于MapReduce的并行化船舶轨迹压缩方法,实现了对船舶轨迹的并行化压缩处理,在保证压缩效果的前提下提高了船舶轨迹数据的压缩效率。(3)采用基于密度的DBSCAN聚类算法,提出了一种基于MapReduce的并行化船舶轨迹聚类算法,实现了船舶轨迹数据的局部聚类及类簇信息的合并,提高了船舶轨迹大数据的聚类效率。(4)将并行化船舶轨迹压缩算法和并行化船舶轨迹聚类算法应用于船舶停泊点挖掘之中,实现了停泊点识别算法和聚类算法的并行化,对航道设计、港口规划、船舶避碰等具有一定的参考意义。
其他文献
为研究不同蛋白原料(酵母水解物、酶解豆粕)对仔猪生长性能及血清生化指标的影响,试验选取30头平均体重为(13.81±1.53)kg、(35±1)日龄“杜×长×大”三元杂交仔猪,随机分为对照组(基础日粮)、酵母水解物组(基础日粮+1%酵母水解物)、酶解豆粕组(基础日粮+2%酶解豆粕),每个处理组5个重复,每个重复2头猪,公母各半,试验期14 d。结果显示:与对照组相比,酵母水解物组和酶解豆粕组仔猪的
期刊
新修订的《职业教育法》指出,职业教育是国民教育体系和人力资源开发的重要组成部分,要切实增强职业教育适应性,为全面建设社会主义现代化国家提供有力人才和技能支撑。无锡高职院校紧盯产业链条、市场信息、技术前沿和民生需求,有效形成了高职教育与区域经济产教融合、协同发展的良好格局。但当前无锡高职教育与区域经济发展仍存在专业设置与地方产业结构不相适应、社会服务能力与区域经济发展不相适应,“三教”改革水平与地方
期刊
高校高水平运动队“三大球”新型人才培养应走体教融合之路。文章运用调查法、文献资料法和逻辑分析法,对体教融合视阈下江苏高校高水平运动队“三大球”新型人才培养进行探讨。研究认为江苏省高校高水平运动队“三大球”人才培养问题包括:队伍分布不均衡,地方结合度偏低,建设模式相对单一;竞赛体系不完善,培养效能不高,培养目标有偏离;学训矛盾尚存,招生生源质量不高,专业深造有待提升。研究发现:应通过以下路径推进江苏
期刊
研究了在连续热引发SAN聚合实验装置中制备高丙烯腈含量的SAN树脂的工艺。研究发现:制备高腈SAN树脂,控制聚合釜气相中丙烯腈比例是关键因素,气相中过高的丙烯腈含量会使分子量分布变宽,树脂性能恶化。提出了在体系中引入少量低沸点的第二溶剂,与乙苯一起形成混合溶剂的新工艺,可以有效降低聚合釜气相中丙烯腈的比例,所制得高腈SAN树脂分子量分布窄,力学性能优异。利用该工艺可以在通用装置上生产高腈SAN,可
期刊
运用文献资料法,对我国校园足球的赛事目标、保障体系、人才晋升渠道、教练员资源等四个方面的现状进行整理和剖析。研究认为:目前我国校园足球发展存在赛事目标不明确、保障体系不健全、人才交流不流畅、校园足球教练员匮乏等问题。并提出明确赛事目标、完善保障体系、健全改革措施、优化机制体制等建议,以期为促进我国校园足球高质量发展提供参考。
期刊
浮筏养殖区监测对于渔业用海管理和水产养殖业具有重要意义,传统监测方法如人工测量和实地勘察都费时且费力,而遥感技术提供了较为高效的解决方式。遥感技术中的光学图像包含有多个波段光谱的信息,使得其能够被用来对不同地物类型进行研究。在中等分辨率光学图像的养殖区提取中,浮筏养殖区由于近年来的快速发展而受到关注。但是因为其光谱特性变化较大,且周围存在海岸陆地、岛屿和淤泥质等干扰,使得对其进行自动提取具有一定难
学位
产教融合作为我国应用型高校深化教育教学改革的重要制度安排,既是应用型高校服务区域经济和产业转型升级的重要保障,也是全面提升教育链与产业链契合度的重要举措。当前,我国部分地区存在产教融合政策制度体系欠完善、产教融合育人机制缺乏针对性、产教融合人才培育供需存矛盾、产教融合企业主体作用不明显、产教融合实践平台建设较薄弱等现实困境,导致应用型高校与区域经济和产业转型升级产生结构性矛盾。要为区域经济和产业转
期刊
目的 探讨介入导管溶栓治疗下肢深静脉血栓患者的临床效果。方法 回顾性分析2020年1月至2021年1月赣州市第五人民医院收治的106例下肢深静脉血栓患者为研究对象,依据治疗方案的不同将患者分为对照组(52例)与试验组(54例)。对照组采用常规抗凝治疗,试验组在对照组基础上采用介入导管溶栓治疗,比较两组治疗效果、下肢周径差、住院时间及并发症发生情况。结果 试验组治疗总有效率高于对照组,差异有统计学意
期刊
在深化体教融合背景下,地方青少年体育正在由部门一元治理向跨部门、跨层级和跨领域的合作治理转变。以上海市与浙江省深化体教融合实践为案例,系统探索地方青少年体育合作治理的动力、构成要素、实现路径与演化机制。发现:(1)地方青少年体育治理目标融合、结构变化及政策缺位所形成的动力影响其治理变革;(2)青少年体育合作治理作为地方探索深化体教融合的实践成果,其核心要素包括纵横共生的治理主体、层级递进的治理内容
期刊
在体教融合的新发展时期,促进羽毛球人才发展是实现竞技体育战略发展的应有之义。基于此,本研究运用文献资料法与逻辑分析法,从竞技体育的视角出发,深入研究体教融合背景下羽毛球后备人才培养的问题。通过阐述体教融合背景下我国羽毛球后备人才培养的内涵,进一步梳理体教融合背景下羽毛球后备人才培养的现存问题与可借鉴经验,深入剖析体教融合背景我国羽毛球后备人才培养优化的路径。研究认为:世界各国的培养模式各具优势,我
期刊