数据抓取平台设计搭建与对等网络研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:qingqwer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
研究网络一种常用的方法是通过抓取网络“快照”来实现,对每一个“快照”的分析可以反映网络的各方面特性,这些特性对于刻画网络特征具有重要的作用。对一些连续的”快照”分析则可以反映各特性的动态变化情况;而抓取这些“快照”一般需要用到专门的抓取平台。在本文中,我们介绍了针对Gnutella网络的研究,设计实现的相关平台。采用的基本原理是利用Gnutella协议中ping/pong消息获取节点和文件相关信息,使用的硬件是普通的PC,软件是Gtk-Gnutella修改而来,运行在linux环境下,采用控制端与工作端相结合的方式;优化方面,我们在软件、硬件和数据库三个部分,通过比较实验,分别探讨了影响平台性能的因素;优化后的平台每台机器每分钟获得的pong数量可以达到15000,可以访问300个peer,同时还可以得到节点的连接关系、文件的详细信息以及文件节点的相关信息等等;通过与其他相关平台的比较,得知平台抓取速率的瓶颈在于建立TCP连接对时间的消耗,对以后的设计提出了相应建议。我们利用在15个小时抓取的数据对网络特性进行了分析,得到了包括文件类型、流行度及其动态分析,网络拓扑分布等几个方面的信息。最后对P2P网络污染问题进行了简要介绍,对之前的污染检测标准提出了基于应用方面的改进,并通过实验,得到了Gnutella网络中不存在大规模污染的结论。
其他文献
智慧城市是未来城市发展的趋势,而光网络在其中起到了重要的作用。EPON作为一种典型的光网络,也获得了更多的关注。然而EPON因其简单的拓扑结构和透明的数据传输方式,也面临很多
移动Ad hoc网络(Mobile Ad hoc Network,MANET)是一种多跳的、自组织的无线移动网络,在军事战场通信、紧急救援、自然灾害紧急处理、传感器网络、科学探险和视频会议等领域取
从90年代初迅猛发展起来的Internet网,已经迅速改变了人们的生活和传统意义上的信息产业构架,能否有效地实施对Internet网的业务控制则取决于对业务特征的了解和预测能力。自相
近年来,通信网络服务的需求在不断增长,通信网络传输能力不断提高,骨干网络和高速局域网随着人们对带宽越来越高的需求也不断升级,然而,连接两者之间的接入网却成为信息高速
光码分多址(Optical Code Division Multiple Access, OCDMA )技术是目前光通信研究领域的热点之一,与此同时,全光高速通信网的需求也在扩大,因此在接入网上利用光纤作为传输
下一代移动通信将提供更好的服务质量和覆盖范围,更高的功率和带宽效率,能应用于更广泛的环境中。于是对其采用的技术也提出了更高的要求。当前无线通信领域的关键技术包括正
可变码率(VBR)视频已经成为当今宽带网络的主要业务流之一,它可以更加充分地利用带宽并提供更高的影像质量,现在广泛用于电影点播、视频监控和视频会议等领域。本文主要研究了V
本文主要针对传统业扩报装系统在实际应用中存在的业务复杂、工作流程变动频繁、效率低、数据不规范、互操作性不高等缺点,在当前飞速发展的Web服务架构上,设计了基于XML、We
学位
随着计算机技术和信息技术的发展,低密度奇偶校验码 (Low Density Parity Check Codes,简称 LDPC 码)作为一种高效纠错码其纠错性能得到了充分的释放。目前它已经成为编码领域