论文部分内容阅读
当前,城市人口聚居,城市生活丰富多彩。开发先进的技术并建立有效的系统检测并及时发现城市人流的异常,对于城市公共安全、交通管理、应急控制和预防恐怖袭击具有着重要作用。 无线网络和智能设备的快速发展使得大量数据可以获得,例如来自智能卡的地铁和公交乘客出行记录。与此同时,社交网络也步入成熟阶段。微博,作为社交网络的一个代表,持续不断地产生大量的用户数据。来自智能卡和微博的这些数据虽形态不同,但时效性强,数据量大,内容丰富,将两者相结合进行挖掘和分析,可以为检测城市人群异常变化提供新的视角。 本文的工作重点是利用公共交通出行记录和微博数据来完成对城市人群流量异常变化的检测。整个检测工作主要分成两部分,第一个部分是针对城市交通流量异常提出了异常检测模型Kochab。Kochab是一个概率生成模型,由两状态的Markov调制的Poisson过程改进而来,Kochab不仅能够检测流量的增多、减少和不变,而且能报告流量异常的持续时间和严重程度。另一个方面,Kochab能融合多种数据集,实现多源数据之间的交叉填补,从而增加流量异常检测的准确性。为了评估Kochab,本文在大规模真实数据集上进行了广泛的实验,实验结果表明与多种已有的方法相比,Kochab具有最好的异常检测性能,即,具有高的F1值、准确率和召回率。第二个部分是针对出现流量异常的区域,挖掘相关的微博数据,提出主题挖掘模型Spatial-LDA,为流量异常提供语义解释。Spatial-LDA由LDA模型改进而来,用于挖掘微博数据的主题,Spatial-LDA将微博文本短的特点和微博携带的地理位置信息融合到主题的生成过程中,提升了主题挖掘效果。本文基于大规模微博数据进行了实验,实验结果显示,每个主题包含的微博不仅具有语义上的相似度,而且这些微博在空间分布上也有较高的聚集性。 基于Kochab,本文开发了城市流量异常监控平台,目前可以对北京市和深圳市进行城市人群流量的异常变化进行检测,同时,利用Spatial-LDA主题模型挖掘微博数据,为流量异常提供语义解释。