论文部分内容阅读
根据网络信息量大的特点，以及主题网络爬虫效率上的要求，将postgresql数据库集群技术运用在主题网络爬虫当中，解决了爬虫对大信息量的存储，并采用缓存技术解决了集群技术在爬虫应用中的效率瓶颈。
Postgresql数据库集群在主题网络爬虫的应用
【摘 要】
：
根据网络信息量大的特点，以及主题网络爬虫效率上的要求，将postgresql数据库集群技术运用在主题网络爬虫当中，解决了爬虫对大信息量的存储，并采用缓存技术解决了集群技术在爬虫应
【机 构】
：
北京化工大学信息研究院
【出 处】
：
计算机系统应用
【发表日期】
：
2010年12期
其他文献
基于视觉的Web页面分块算法（Vision-based Page Segmentation Algorithm）作为网页分块技术重要的一部分，得到了广泛的应用，然而由于网页视觉特点的复杂性，导致VIPS具有算法规则过
随着CSS＋DIV布局方式逐渐成为网页结构布局的主流，对此类网页进行高效的主题信息抽取已成为专业搜索引擎的迫切任务之一。提出一种基于DIV标签树的网页主题信息抽取方法，首先根
在无线传感器网络中,成簇算法是减少能量消耗的一种关键技术,它能够增强网络的扩展性和延长网络生存时间.本文提出了一种基于EAD协议的无线传感器网络高效成簇算法（EC-EAD）。EC
网络仿真软件NS2是网络性能分析、评估网络设计方案及网络故障诊断的强有力工具。它不仅能实现复杂的网络数据传输和拓扑结构的仿真，还能模拟各种网络环境。NS2作为开源软件缺
搜索引擎是网络中一种必不可少的工具，如何合理地提供网站在搜索引擎中排名成为目前的热点话题。在分析google可能的网站评价策略基础上，提出了一套网站优化方案，并对“高等数学
智能视频监控生产过程是工业自动化的一个发展方向。为了高效、可靠地监控钢管生产，根据钢管生产的特殊情况设计了一种使用静态背景库，并且根据运动相对性原理把生产线的运动也
为了提高T—S型模糊RBF神经网络的训练效率，把Levenberg—Marquardt算法引入到T—S型模糊RBF神经网络的训练过程中，提高了网络训练的收敛速度，减小了训练过程陷入局部极小点的概
针对目前物流配送系统大都采用多平台的异构系统，导致出现结构不兼容和技术不兼容的混乱情况。探讨了SOA这种面向服务的组件结构的特点及其优势，提出了一种基于这种SOA架构和We
作为GIS基础数据来源的数字地籍图大多都是基于AutoCAD平台的。和GIS数据不同,它们不注重实体间的闭合性,拓扑关系等问题。宗地的封闭性检查是CAD数据与GIS数据进行数据转换以及地籍数据入库前矢量数据标准化的重要组成部分。从进行宗地封闭性检验的技术基础、理论基础以及宗地不闭合的成因出发,探讨了进行宗地封闭性检验的技术流程,并阐述了利用AutoCAD VBA作为开发语言,采用AutoCAD A
OGRE(object-oriented graphic render engine)作为一种通用的图形渲染引擎并不提供专门针对汉字的渲染方案。汉字字符与英文字符存在很大差别,不能简单套用英文字符的渲染方法,分析了汉字在OGRE的场景中的3种不同的渲染方案。并在讨论和比较的基础上,深入的研究并实现了在现阶段比较有价值的方案,为进一步研究积累了经验。