基于移动代理的MAISE爬虫的设计与实现

来源 :华中科技大学学报(自然科学版) | 被引量 : 0次 | 上传用户:Gwmgdemj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
提出了一种基于移动代理的图像搜索引擎(MAISE,Mobile Agent based Image Search Engine)的爬虫系统,系统中爬虫代理运行在远程Web服务器上,它将集中在服务器端的任务如:特征提取、建立索引等分散到远程的Web服务器上并行运行,而且代理个数是可控的,最后将少量的数据回传到服务器端,这不仅提高了效率而且减小了网络传输量.最后对MAISE爬虫系统进行了测试,实验结果表明,MAISE爬虫的网络数据传输量和爬行时间等指标上均优于传统爬虫.
其他文献
有效地给出了一种新的基于软件自测试的串扰故障渐进式激励检测模型实现,这种基于软件自测试的检测方案是利用SOC中的处理器核的计算和处理能力来产生激励矢量,对串扰故障进行
把休闲引入Uzawa-Lucas模型,通过动态最优化方法,在休闲外生的情况下,得出一个三维动力系统,并且获得了休闲与均衡经济增长率负相关的结论;在休闲内生的情况下,得出一个四维动力系
构造了一个基于CORBA和XML技术的PDM/CAPP系统集成框架,它利用CORBA技术实现数据的传输,并利用XML技术作为信息描述的载体.在结合实际的基础上,详细讨论了这一集成框架的实现
将重复控制技术和传统PI控制技术应用于400Hz UPS的逆变环节,构成一种高性能、低成本的控制系统.提出一种基于嵌入式重复控制和传统PI控制的复合控制方案,详细分析了系统的结
针对企业在知识联盟伙伴选择过程中存在的主观性和盲目性问题,建立了基于多层次灰色关联度方法的知识联盟伙伴选择模型,构造了评价企业知识联盟潜在合作伙伴的指标体系,并对
为解决大型企业复杂的战略决策问题,采用网络通信技术、数据仓库技术和现代决策理论,提出了一种新型的战略决策支持系统,并且重点讨论了系统的框架结构、功能特点和决策流程,
在分析企业项目管理系统一般性的安全性问题的基础上,提出了鉴别服务、数据传输的机密性、完整性、不可抵赖性以及访问控制和存储安全等实际需求,对各种安全技术的选取进行了分
根据我国目前大型电厂采用的传统吹灰方式,比较吹灰前后的主要运行参数变化,利用等效焓降法计算其带来的煤耗量变化,得出除灰给锅炉机组带来的经济性和存在的一定缺点,为了进
利用格子Boltzmann方法对气固两相流进行数值模拟,其中颗粒的轨迹利用指数拉格朗日方法进行计算,而流场的计算方法则是基于一种修正后的LBGK模型.特点在于成功引入了两相耦合
期刊