论文部分内容阅读
随着互联网规模的不断扩大和WWW业务的飞速发展，互联网数据中心(IDC)的用户越来越关注托管服务器的安全以及IDC网络的性能，在这种需求下，运营商迫切需要一套能够监测、分析WEB服务器运行状态的网站监测分析系统。此外，监控WEB服务器的状态，进而研究用户的访问特征，也是整个网络行为研究、服务规划和网络优化的基础。
本文在研究IDC运营支撑需求的基础上，针对海量数据存储问题，分析研究了现有的存储数据库，设计并实现了一个基于Linux平台的网站服务器监测和分析系统。论文主要工作如下：
①系统框架的设计
在分析当前互联网发展以及IDC运营支撑需求的基础上，给出了系统的总体结构和各子系统的设计。系统整体分为数据采集、数据处理、数据存储和上层管理四个子系统。
②给出数据存储子系统的详细设计和实现
为满足数据的快速检索和长期海量数据存储，本系统设计了三种类型表：统计表、粒度表和辅助表。利用Berkeley DB存储基础数据，MySQL存储查询数据，配合处理子系统中的方法实现了海量数据的快速存储和查询。
③给出数据处理子系统的详细设计和实现
该部分由五个功能模块组成：数据通信模块、数据缓存模块、用户过滤模块、数据处理模块以及数据库写入模块。数据通信模块利用多线程和网络编程解决数据处理子系统和数据采集子系统间的数据交互问题；用户过滤模块利用哈希算法实现了大量数据的过滤；数据处理模块利用哈希和小顶堆的数据结构和算法，对数据进行聚合，解决了海量数据存入数据库速度慢的问题。
④实际网络环境下的测试和分析
给出了系统性能测试和功能测试，并分析了测试结果，由测试结果可知本系统达到设计目标。
本文设计实现的IDC网站分析系统可以对网站服务器的运行状态进行监测，其中包括服务器流量、流向、点击次数等功能信息。该系统已经成功服务于四川天府电信IDC运营中心。