【摘 要】
:
BitTorrent(简称BT)作为一种高效的P2P文件共享协议为越来越多的人所使用和关注,也成为学术界研究的热点。目前的BT发布站点或搜索引擎在效率、全面性、安全性上存在着或多或
论文部分内容阅读
BitTorrent(简称BT)作为一种高效的P2P文件共享协议为越来越多的人所使用和关注,也成为学术界研究的热点。目前的BT发布站点或搜索引擎在效率、全面性、安全性上存在着或多或少的不足。为此,本文提出了对BT种子文件获取技术的研究,实现一个快速、全面的BT种子爬虫系统,为设计方便用户使用的BT搜索引擎和为基于种子文件的BT网络行为分析和BT数据挖掘等提供数据来源。本文通过分析当前面向BT种子文件获取的聚焦爬虫面临的问题,从提高系统获取效率、提高爬虫爬全率的角度出发,提出了基于正则表达式规则的URL过滤技术、基于Hash的种子文件去重机制,解决了爬虫的自动登录和AJAX网页的解析这两个传统爬虫在BT种子文件获取这种面向主题应用中存在的难题。为了降低爬虫获取种子延时,改进了现有的数据抓取和数据更新机制,提出了新的URL爬行任务选择策略和动态任务调整策略。对每一种技术和方法进行了分析和实验验证,这些技术不仅适用于BT种子文件获取,也适用于通用爬虫和面向其他主题应用的聚焦爬虫。最后通过设计并实现一个基于Hadoop框架的分布式并行BT种子文件获取系统,对系统进行了性能评测和对获取到的种子文件进行了简单的分析挖掘,实验结果进一步验证了本文提出的技术和方法可以使爬虫系统性能达到实用水平。
其他文献
数字水印技术作为新一代的信息安全技术,为实现版权保护或跟踪侵权行为提供了一种有效工具。但同时要求算法具有较强的抗攻击能力,特别是对各种形式的几何攻击。本文在小波分
心脏是人体的重要器官,心脏疾病严重威胁着人类的健康,因此,对心脏生理机能的研究越来越受到人们的关注。传统的研究手段通常是借助于动物实验的方法。但是这些方法不仅周期
日益普遍的移动生活和工作方式导致传统的商务管理模式正在转向以企业信息化和社会信息化为基础的移动电子商务管理模式,以实现企业实时、高效管理为目标的企业移动业务管理
机器翻译是指借助计算机将一种自然语言转变为另一种自然语言,该研究是自然语言处理领域的一个重要分支。统计机器翻译作为机器翻译的主流方法,具有坚实的理论基础和成熟的翻
随着Internet的发展,例如大量影院网站的出现和网页网络游戏的出台,网络用户对Web服务质量提出了更高的要求。目前Web服务主要依赖TCP的支持,然而基于单宿的TCP难以满足大规
无线移动Ad hoc网络(MANET,以下简称Ad Hoc网络)作为没有基础设施的网络,在军事和民用方面具有广阔的应用前景,是目前网络研究中的热点问题。随着近年对Ad hoc网络安全的研究
在自认证密码体制下,用户的公钥由自己生成,一个称为认证中心CA(Certificate Authority)的可信第三方生成用户的部分私钥,用户利用这个部分私钥和自己随机选取的秘密值生成自
机器翻译自动评价是近年机器翻译研究工作中的热点问题。机器翻译的自动评价具有速度快、成本低、一致性强的特点,在机器翻译系统的开发周期中起着重要的作用。句子级机器翻译
Web服务组合解决了互联网异构应用的集成和协作问题。Web服务组合建模是一个复杂且易出错的过程。如果组合流程在投入运行后被发现有错,则修复错误的代价很高,而且流程结构的
各种不同网络安全设备每天都产生大量的信息,并且不同的网络设备之间的安全事件存在一定内在的联系。安全态势值提供了一个宏观报警的方法,安全态势评估则是将安全信息数据的