论文部分内容阅读
目前针对移动通信网络数据的分析大多基于运营商收集的语音业务数据而不是IP数据,但是随着移动通信网IP化进程的深入,有必要对移动通信网中的IP数据进行分析。对于IP数据的分析,国内外学者虽然有了许多有价值的研究,但是目前的研究大部分针对互联网。随着移动通信网IP化进程不断推进,目前在移动通信网络中IP数据处理及用户行为分析的整体方案方面还有待深入研究。本文针对以上研究现状,对移动通信网络中IP数据处理及用户行为分析进行研究,以移动通信网IP数据为起点,大数据处理技术研究与模块实现作为基础和手段,从复杂网络和数据挖掘两个维度进行移动通信网络用户行为分析的综合研究。本文主要研究内容与创新点如下:1、分布式预处理模型与实现。编写了基于Hadoop编程的数据导入模块的代码,此模块可以用于将原始采集PCAP数据进行段落解析,并且将分割开的IP协议包传入Hadoop的Mapper函数进行分布式处理。编写了基于Map-Reduce的数据选择处理模块,此模块利用分布式思路对传入的IP协议包中的字段进行提取,清理,转换和规约,生成需要的数据。实现数据的规约和集成,为之后的网络建立和数据分析提供统一的数据结构和格式。2、基于复杂网络的IP网络模型分析。对移动通信网IP数据建立了以IP为节点,IP连接为边的网络模型。对移动通信IP网络模型采用了复杂网络分析的研究方法,研究了网络的拓扑性质,提取并标记了关键节点。以标签传播算法的原理进行移动通信IP网络模型的实现,并使用优化的算法对网络模型数据集进行群组划分。3、基于数据挖掘的IP数据及网络行为分析。根据移动通信IP网络模型的特点,分解了聚类算法的结果维度。通过弱化具有不同端口的同一行为内部的关系,实现了移动通信IP数据基于端口的不同行为的关联分析。