多源异构数据流的异常检测研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:candyhaiyu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,城市人口聚居,城市生活丰富多彩。开发先进的技术并建立有效的系统检测并及时发现城市人流的异常,对于城市公共安全、交通管理、应急控制和预防恐怖袭击具有着重要作用。  无线网络和智能设备的快速发展使得大量数据可以获得,例如来自智能卡的地铁和公交乘客出行记录。与此同时,社交网络也步入成熟阶段。微博,作为社交网络的一个代表,持续不断地产生大量的用户数据。来自智能卡和微博的这些数据虽形态不同,但时效性强,数据量大,内容丰富,将两者相结合进行挖掘和分析,可以为检测城市人群异常变化提供新的视角。  本文的工作重点是利用公共交通出行记录和微博数据来完成对城市人群流量异常变化的检测。整个检测工作主要分成两部分,第一个部分是针对城市交通流量异常提出了异常检测模型Kochab。Kochab是一个概率生成模型,由两状态的Markov调制的Poisson过程改进而来,Kochab不仅能够检测流量的增多、减少和不变,而且能报告流量异常的持续时间和严重程度。另一个方面,Kochab能融合多种数据集,实现多源数据之间的交叉填补,从而增加流量异常检测的准确性。为了评估Kochab,本文在大规模真实数据集上进行了广泛的实验,实验结果表明与多种已有的方法相比,Kochab具有最好的异常检测性能,即,具有高的F1值、准确率和召回率。第二个部分是针对出现流量异常的区域,挖掘相关的微博数据,提出主题挖掘模型Spatial-LDA,为流量异常提供语义解释。Spatial-LDA由LDA模型改进而来,用于挖掘微博数据的主题,Spatial-LDA将微博文本短的特点和微博携带的地理位置信息融合到主题的生成过程中,提升了主题挖掘效果。本文基于大规模微博数据进行了实验,实验结果显示,每个主题包含的微博不仅具有语义上的相似度,而且这些微博在空间分布上也有较高的聚集性。  基于Kochab,本文开发了城市流量异常监控平台,目前可以对北京市和深圳市进行城市人群流量的异常变化进行检测,同时,利用Spatial-LDA主题模型挖掘微博数据,为流量异常提供语义解释。
其他文献
近年来,随着计算机人群模拟技术的不断发展,其应用也越来越广泛,涉及的领域包括模拟训练、计算机游戏动画、影视特效和公共安全辅助设计等。例如,通过对正常情况或紧急情况下人群
本文针对P2P系统占用大量网络带宽问题及P2P文件共享系统Maze所存在的邻居站点服务“过时”,资源搜索结果排序不合理等问题,提出了利用节点的网络和地理属性对节点进行圈子划
传感器网络是由一组传感器节点以自组织方式构成的无线网络,随着其研究的深入,目前在各个领域得到了广泛的应用。为了满足用户查询的要求,研究者提出了多种查询方式,目前,kNN
随着科学技术的飞速发展,我们生活的世界被越来越多的数据所覆盖。如何在这大海一般的数据丛林中发现有用的知识,成为了一门单独的学科,数据挖掘。随着社会生活中各个领域的
软件重用一直是困扰软件工作者们的一个话题。从面向过程的编程方式到面向对象编程,直到现在面向组件的编程思想,其目的无不是为了提高软件开发效率和代码可重用性。插件是基
随着下一代网络技术的进一步发展和成熟,VOIP技术成为了争相研究的热点。目前,应用于VOIP的主要技术规范有两种——ITU的H.323协议和IETF的SIP协议。H.323协议采用传统的电话
医学图像分割技术是进行医学图像分析和理解的基础。与一般的图像不同,医学图像往往存在低对比度、弱边缘以及灰度分布不均等现象,常常需要结合医学领域中的专业知识才能做出
股票作为金融市场最主要的金融工具之一,其价格波动能否预测、以及用何种方法进行预测,一直以来都是金融领域研究的焦点问题之一。国内外对股票价格波动进行预测的模型种类很多
随着互联网的发展,出现了利用互联网传输语音的VOIP技术。作为VOIP技术的重要应用,电话会议系统正广泛的应用于需要实时传输语音的场合。为了方便电话会议系统的应用,有必要
在我国近30年发展过程中,私家车的数量飞速增长,随之引发的各种交通事故也日益突出。由于驾驶者在变道、拐弯时看不见车辆侧方或者后方盲区的车辆,因此驾驶盲区是引起交通事