论文部分内容阅读
近年来,互联网在国内得到了广泛的发展,各种应用越来越多,其中致力于人与人之间互动的社交网络应用尤为受到人们的青睐,如IM(即时通讯)、SNS(社交网站)以及微博等。面对这种互连的复杂结构数据的爆发式增长,传统的网络监控方法显得有点措手不及,从而显得从传统的通信会话研究转向通信结构化分析具有一定的意义。因此,搭建一个对这种互连复杂结构数据截获、存储及管理的系统,对于网络监管有着重要的意义。本文搭建了一套完整的图库系统,包括数据的采集及处理、图库的搭建及管理、工作区的创建以及通讯模块的搭建。首先将这种应用层上的数据建模成图论中的无向图,同时还扩展到物理层、网络层等。文中就图的存储分别从关系型数据库和非关系型数据库角度上面分别进行了论述,同时还针对本项目做了对比实验,选择合理的方案。然后本文就基础数据的采集、处理、存储及管理等各个模块展开了详细的工作。通过对项目中涉及到的网络协议分析,从采集的基础数据中过滤所需的数据。在数据处理方面,采用了循环缓冲区机制,同时还解决了大流量数据去重问题,为基础数据库提供了数据基础。另外,通过对基础数据库采用边、点分离的方法构造了图库表,包括顶点表、边表,编写了一系列的存储过程来完成对图库表的初步管理。最后,本文完成了通讯模块的搭建,包括客户端和服务器两部分客户端能够为用户提供交互式的可视化显示效果,服务器则致力于为客户端提供图库数据。为了保障两者之间的正常通讯,本文提出了一套基于图库功能图库通讯协议。同时在服务器端,为了对图库数据的有效管理,采用了图库工作区的概念,包括共享工作区、个人工作区和图库数据分析区,前者负责处理共享图库数据,中间负责处理单一客户端的各类信息,后者负责图库数据分析任务。图库系统搭建完毕后,本文就各个功能模块进行了一个完整的测试,验证系统的合理性。