论文部分内容阅读
随着智慧城市建设的不断深入,物联技术广泛应用,利用大数据、机器学习技术解决实际问题受到广泛关注,本论文着眼于智慧城市建设中空气污染物PM2.5的预测问题进行研究。已有的相关研究中,一方面没有综合考虑到污染物和气象条件之间的相关性,只针对单一污染物进行周期性预测,泛化性很差,缺乏足够的准确性;另一方面,对污染物的预测粒度不够,不够细化,没有利用到已有监测数据是按小时为监测间隔的重要信息。本论文提出一种基于不同时间步长的预测研究方法,利用历史污染物数据和气象数据,训练不同时间窗口的模型。并且,利用模型根据当前1-72小时数据,对未来1-72小时的PM2.5浓度进行预测。同时设计并实现了基于Hadoop的分布式存储系统（DFS,Distributed File System）,以满足未来智慧化城市运行中更大量、更复杂的空气质量相关数据的存储、分析和预测需求。本论文使用的数据来源于近5年内西安城区兴庆小区监测站点的污染物数据和气象数据。基于相关污染物和气象历史数据,本文创新性提出针对不同预测步长,采用三种预测模型进行训练并预测。线性回归模型:综合考虑上一时间段污染物浓度和气象数据,刻画了污染物之间线性关系,有一定的准确度;BP（Back Propagation,逆向传播）神经网络模型:模型的输入特征值和线性回归类似,尝试不同的输入因子和网络结构,迭代训练产生不同时间窗口预测模型;LSTM（Long-short-Term Memory,长短时记忆网络）预测模型:利用网络的记忆性去刻画污染物变化具有的延时性和连续性,输入为之前1-72小时数据,预测未来1-72小时PM2.5浓度。本文基于西安兴庆小区监测站点的历史数据,对三种模型效果进行对比,得出结论,针对不同步长的预测采用不同的预测模型可使得预测误差最小。在模型调优阶段,分别探讨了不同模型的优化方案。SGD（Stochastic Gradient descent,随机梯度下降）优化方案相比其他方法可以减小BP神经网络和LSTM网络模型的误差。经过试验对比,LSTM预测模型在1-15小时预测误差较小,BP神经网络模型在16-72小时预测步长误差较小。最后,在测试验证阶段,设计并实现了基于Hadoop的DFS分布式存储系统。设计多个节点,能保证数据的可扩展性和可用性,并且配置Sqoop工具和Hive工具;建立数据仓库,为数据分析工作提供支持;建立Web服务系统,把预测功能通过HTTP的方式对外服务;针对本研究系统主要功能进行测试,均达到预期效果。