基于电信数据的模式挖掘与分析

来源 :北京邮电大学 | 被引量 : 4次 | 上传用户:jumglezhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息社会的高速发展,信息数据量日益膨胀,如何把这些数据转换成有用的信息和知识将是数据挖掘领域要解决的核心问题。模式挖掘是数据挖掘中重要的一部分,通过模式挖掘与分析,可以获取原始数据的一般性质并可以对数据进行推断和预测,最终得到有用的知识。电信数据是一种重要的信息来源,通过对电信网络进行模式挖掘与分析,可以指导运营商的市场营销,而且还可以指导分析恐怖组织等。电信网络是一种典型的社会网络,通过社会网络分析进行模式挖掘与分析可以更好地发现信息和知识。本文旨在挖掘电信网络存在的尽可能多的模式并提供其主要分析方法,并提出一个基于Hadoop平台的挖掘和分析处理流程以及一个基于此流程的原型系统。首先,本文提出了基于Hadoop分布式计算平台的挖掘和分析流程,该流程包括了ETL,数据挖掘引擎,挖掘效果评估以及知识表示。对于模式挖掘,由于用户不知道数据中什么类型的模式是有趣的,所以需要尽可能的挖掘多种不同的模式。本文基于电信网络挖掘的模式主要涉及到了周期性模式、离群点模式、spammer模式、结构相关性模式、小连通分量模式以及在这些模式基础之上发现的异常模式。通过模式挖掘,获得了需要分析的目标对象。本文中对电信网络的分析,涉及到个人中心网络、社群发现以及可视化分析等,这些分析可以更好地对发现的模式进行确认、探究及发现。通过数据再分析,可以得到新的知识。最后本文基于一个实际的项目,实现了一个系统原型。该系统原型能够较好地体现基于Hadoop平台的挖掘分析流程并且结合了部分模式挖掘及分析方法。该部分是理论与实践结合很好的体现。
其他文献
在生物群落和人类社会中合作行为是广泛存在的,根据自然选择学说,一个利他的个体由于降低了自身的适合度容易被大自然淘汰,那么如何在进化论的前提下理解合作行为(利他行为)
基于图论的图像分割方法,由于能够兼顾图像的局部特征和全局特征,一直受到学术界的高度关注。图割(Graph Cuts)作为一种典型的基于图论的图像分割方法,具有图论理论支撑,是计
近年来,利用数字图像处理技术对普通数码相机拍摄的现场照片进行分析处理已成为事后交通管理部门寻找事故原因、认定事故责任的辅助手段。图像拼接技术是克服普通数码相机成像
视频目标跟踪是近年来计算机视觉领域中的研究热点,在人机交互、视频监控、智能交通等方面都有着广泛的应用。视频目标跟踪算法的优劣性直接影响着运动目标跟踪的稳定性和精确
随着社会的进步和科技的发展,环境保护问题不仅引起了科学家们的关注,而且引起了普通大众的关注。为了更好地开展环境保护工作,掌握环境信息就显得非常重要了。环保信息系统
学位
基于特征库的安全防护系统(如IDS/IPS、防火墙等)是对抗网络攻击的主要手段,特征的质量和数量决定这类系统的检测性能。随着多态技术的应用,网络蠕虫的感染能力大幅增强,初始
随着计算机网络技术的高速发展,互联网已经日益成为应用程序开发的默认平台。伴随着网络上各种各样的内容丰富功能多样化的社区网站的增加,Web开发者需要快速地在网页上向Web
由于在软件产品的开发过程中,需要安排的任务和资源约束过多,且由于外界因素的影响,软件开发项目处于一个动态环境中,因此确定任务的时序以及资源的分配需要耗费大量的精力和
目前,MMOG(Massively Multiplayer Online Games)中的人工智能AI(ArtificialIntelligence)技术还比较简单,都是基于单一目标的简单行为,不能满足网络游戏的动态性需求。而多目标
随着片上系统设计水平的不断提高,嵌入式设备具有体积小、功能越来越多的特点,特别是在实时系统中,要求能准确估算任务的执行时间,为此嵌入式系统需要进一步性能优化。为了提