【摘 要】
:
随着全球经济化的飞速发展和城镇化建设的稳步推进,移动轨迹大数据的挖掘分析已成为学术界、工业界和政府部门高度关注的民生问题。本文搭建基于MapReduce并行处理框架的Hadoop分布式计算平台(大数据分析平台),实现移动轨迹大数据(出租车GPS数据)的高效挖掘与深度分析;分析乘客出行特征,实时掌控城市居民出行规律;分析出租车运行特性,动态感知交通状况;进而为城市交通管理与控制提供理论依据和决策参考
论文部分内容阅读
随着全球经济化的飞速发展和城镇化建设的稳步推进,移动轨迹大数据的挖掘分析已成为学术界、工业界和政府部门高度关注的民生问题。本文搭建基于MapReduce并行处理框架的Hadoop分布式计算平台(大数据分析平台),实现移动轨迹大数据(出租车GPS数据)的高效挖掘与深度分析;分析乘客出行特征,实时掌控城市居民出行规律;分析出租车运行特性,动态感知交通状况;进而为城市交通管理与控制提供理论依据和决策参考。本文研究的主要内容及创新性成果如下:1.大数据分析平台搭建和数据预处理。首先,搭建基于MapReduce框架的Hadoop大数据分析平台,实现移动轨迹大数据的分布式存储与并行计算;其次,利用大规模出租车GPS数据实验验证大数据分析平台,为后续工作的测试、挖掘与分析提供保障;最后,分析出租车GPS数据特征,基于大数据分析平台实现出租车GPS数据的智能提取与并行预处理。2.乘客出行时空特征分析。首先,基于大数据分析平台提取乘客出行OD轨迹点,得到乘客出行各时段峰值分布;其次,结合峰值分布对城市整体区域进行中区划分,并根据工作日与休息日两种不同的分布趋势,对乘客出行特征进行分析;最后,利用大数据分析平台对乘客出行分布状态按照地图进行聚类分析。3.出租车运行特性分析。首先,利用大数据分析平台实现(HAR,CFIF,SF)三种海量小文件处理方法,弥补Hadoop大数据分析平台在处理海量小文件数据集时存在“读写速度慢,内存消耗高,处理效率低”的固有缺陷;其次,引入海量小文件处理策略(SF)优化频繁模式增长算法,并基于MapReduce范式通过Map,Reduce等函数重构频繁模式增长优化算法(MR-PFP),实现移动轨迹大数据频繁项集的并行挖掘;再次,将MR-PFP算法应用于真实的包含海量小文件数据集的出租车GPS数据,实现出租车运行特性的关联分析;最后,实验验证MR-PFP算法的效率和可扩展性。
其他文献
本文综述了活动星系核,特别是blazar天体的研究现状,对blazar天体的多波段观测与多波段能谱特性研究进行了较为详细的评述。主要的研究工作包括以下内容:(一)γ噪blazar天体的短时
综艺主持与表演艺术有许多相似之处,并且相互之间又有很多密切的关连。在现代媒体的多样化展示中,人们越来越意识到,主持人与表演之间存在着很大的互通。学校还经常用表演专业的教学方法,激励主持人才在教育和培养的过程中找到表达技巧和灵感。表演艺术和主持专业是紧密相连的两个领域,二者相辅相成。主持人可以结合表演艺术进行主持,以达到出色的演播效果。现在,开设播音与主持专业的高校非常的多。并且,在教学的过程中,都
决策和判断研究在经济学、政治学和心理学等领域占据着重要地位。无限理性假设作为经济学的核心假设,构成了新古典规范性决策理论的基石。直到1947年,Simon目考虑到在经济行为
<正>内乡宛梆是河南南阳地区的地方戏,为我国稀有剧种之一,已被国务院列入第一批国家级非物质文化遗产名录。旧时的"西调"、"老梆子"、"南阳调"、"唧唧梆",在新中国成立后改
在室温(25±2)℃和4 000 lx的连续光照条件下,分别以斜生栅藻、水华鱼腥藻为实验藻种,附着固定于立体弹性载体上形成藻类生物膜,研究不同p H对2种藻类膜生长状况及脱氮除磷能
医疗保险中的道德风险主要表现为被保险人的过度医疗消费和医疗机构的诱导需求。通过对被保险人疾病预防投入的分析,本文得出预防对医疗费用控制功效有限,因此,忽视预防所产
本文简述了环保型电线电缆的概念;介绍了开发环保电线电缆的两大课题,阻燃聚烯烃替代PVC(聚氯乙烯)的研究和PVC无铅化的研究;介绍废旧电线电缆再利用体系。
研究目的:了解我国明清时期世人嗜赌如命的社会风貌,警示今人要注意体育文化发展中的不良倾向。主要结论:朝代更迭、世风颓丧是影响人们迷恋赌博的社会原因;麻将的创制和其他
<正>现如今,买卖文凭竟成了一件司空见惯的事情,买者坦坦荡荡,毫无羞耻之心,甚至因为买文凭而得到提拔重用升官发财的人为数不少;卖者更是沾沾自喜,文凭嘛,只不过一张纸,盖个
当前,随着社会经济活动的日益频繁,火灾事故发生的几率也随之增高。火灾事故发生过程的调查成为一项重要的工作。火灾调查阶段存在着物证损坏的问题,这也成为了火灾原因调查