论文部分内容阅读
随着经济和社会的快速发展,城市道路的拥堵问题日益严重,这不仅增加了人们的出行时间、提高了通勤成本,还造成较大的经济损失。随着智能交通系统的发展,交通状态判别技术可以准确及时地识别道路交通状况,为缓解交通压力、提高交通管理水平提供决策依据。目前,我国大中型城市的路网规模庞大,一个中等城市每天可产生千万级别的过车数据。在海量的交通数据面前,传统的数据挖掘算法受到单机的性能约束,在处理速度等方面无法满足实际需求,大数据环境下的交通状态判别研究成为新的方向。本文研究了数据挖掘技术的经典算法之后,根据交通流理论和交通状态判别需求,对实测的交通流数据进行了冗余属性删除、异常数据剔除、数据规范化等数据预处理操作。在正常的城市秩序下,交通流数据与道路交通状态之间的模型是非常复杂的动力学问题,它具有时变性、非线性等特点,而神经网络较强的自我学习能力可以对模型进行最大程度上的拟合。基于某市智能交通管控平台的实际交通流数据,本文使用单模型建模方法研究了BP神经网络在交通状态判别中的应用。在此基础上,本文结合模糊C均值和BP神经网络理论,设计了基于多模型建模方法的交通状态判别算法。通过对比单模型和多模型两种算法的仿真结果,验证了多模型算法在交通状态判别中的可行性。针对海量交通数据的环境,本文介绍了包括Linux系统、Hadoop平台、Spark平台在内的环境搭建,对MapReduce和Spark两种计算框架的优缺点进行了理论分析。面对大数据环境,本文利用具有强大的分布式计算能力的Hadoop和Spark平台,实现了模糊C均值算法和BP神经网络算法,探究了算法在海量交通数据上的应用以及算法在不同运行环境下的性能,从运行速度方面论证了大数据平台的应用优势。