基于Linux的网络爬虫系统

来源 :计算机工程 | 被引量 : 0次 | 上传用户:jcm917
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对目前影响爬虫程序效率的诸多关键因素,在研究爬虫程序内部运行机理的基础上,进行架构优化,改进爬虫程序中的相关算法。在Linux网络环境下,通过对实现的爬虫程序运行进行检测,反馈出该解决方案和改进之处具有可行性,提高了页面抓取的效率和爬虫程序的整体性能。
其他文献
在早期特种车辆的设计中,较多考虑用有限的材料建造大而震撼的车体,以产生较大的感官震撼性。随着现代应用环境的变化,尤其是在运输和野外地形应用背景的需求下,对特种车辆的要求在不降低车辆功能的前提下,逐步趋向小型化、轻量化和空间紧凑化。本文以特种车辆的动力舱为主要研究对象,以紧凑布局优化为目标,提出了动力舱布局优化问题,研究高效求解算法。主要工作包括以下几个方面:一、详细分析了动力舱布局优化问题。为保证
目的 分析急性化脓性腹膜炎的诊断及临床治疗效果,为提升疗效提供依据。方法 选择我院收治的该类患者共计58例作为研究对象,采取分组方式进行研究.对照组研究对象均进行保守
光学相干层析成像技术(OCT)作为一种新型的医学断层扫描成像技术,具有操作简单、检查快速方便、无需接触患者,可进行量化分析等优点被应用于临床工作。本文对光学相干层析成像
软资源是科技、信息、知识和人文等非自然资源,具有渗透性、共享性和再生性等硬资源不具备的特性。福建拥有着丰富的软资源,有效的开发和利用软资源并服务于城镇化,将对福建
针对嵌入式系统中只能实现单用户程序在线编程的问题,提出一种多甩户程序在线编程方法。以MC9S12DG128为例,基于片内Flash存储器的特性和存储映像,采用Flash存储空间划分、向量
提出一种拥有更大水印嵌入量的可逆水印算法。以预测的方法获得一个与现有值近似的值,利用该近似值与现有坐标值的差值进行水印的嵌入。提取时先得到水印信息,再恢复出原始图像。在此基础上,通过添加头信息,提出第2种算法,以提高预测准确度。实验结果表明,与同类可逆算法相比,提出的2种算法拥有更大的水印嵌入量,对原图的改动更少。