【摘 要】
：
在移动互联网用户行为分析系统中,为了使深度包检测(deep packet inspection,DPI)进行有效地数据匹配,对用户行为进行更深层次的分析,达到不仅能识别出业务网站类型而且还识
【基金项目】
：
国家高技术研究发展计划(“863”计划)(2014AA01A706);国家科技重大专项(2014ZX03001027,2012ZX03001021);重庆高校创新团队(KJTD201312);重庆市教委成果转化重大项目(KJZH14103)~~
论文部分内容阅读
在移动互联网用户行为分析系统中,为了使深度包检测(deep packet inspection,DPI)进行有效地数据匹配,对用户行为进行更深层次的分析,达到不仅能识别出业务网站类型而且还识别出业务网站访问具体内容的目标,设计出一种能进行具体内容级别上特征爬取和提炼的爬虫模块。针对特定业务网站,考虑广义爬取对技术和存储要求高的缺点以及针对某一行业的爬虫系统得到数据有限的不足,设计并实现了一种基于特定页面分析的聚焦爬虫模块。该爬虫模块采用模块化的思想,使用多线程多任务,精确高效地爬取特定业务网站信息,为DPI匹配提供数据支持。经过测试验证,该爬虫模块达到了预期的要求,可维护性、可扩展性和实时性强,满足移动互联网用户行为分析系统对特征数据提取的需求。
其他文献
通过对比IMO气象衡准和中国船舶行业CB/T 3526-94等抗风标准,分析相互之间的主要差异和关键要素,并针对国内远洋级公务船和调查船开展抗风力计算与衡准方法研究,首次提出用"
中国作为一个人口大国，农业是国民经济的基础。建设新农村、建设现代农业、实现小康社会，最终必须依靠有文化、懂技术、会经营的新型农民。当前，由于我国农民科学素质较低，严重影
为进一步提高荷电水雾振弦栅除尘器除尘效率,在自制模型基础上进行实验,在喷雾水压、喷嘴孔径一定时,以除尘效率η为实验结果,针对入口风速(V)、电场强度(E)和放电距离(L)3个
陶行知是20世纪中国伟大的人民教育家，他毕生致力于崇高的人民教育事业，创建了博大精深的生活教育理论，健身教育思想是其生活教育理论的重要组成部分，他在其健身教育思想理论中开
<正>自2014年10月1日起,强制性国家职业卫生标准GBZ188-2014《职业健康监护技术规范》实施,为指导企业做好接触微波与紫外线作业人员的职业健康监护工作,规定了相应的技术性
分析了我国发展现代食品物流的重要性,指出了我国食品物流发展中食品物流成本高服务水平低、硬件和软件设备落后、缺乏食品物流质量监控保障体系等问题,提出了制定和执行政府
计算机主要由外部设备和系统版构成,计算机硬件的集成电路十分复杂,对其进行维修是一项十分复杂的工作,所以硬件故障修复时要掌握基本原则和常用方法,以便确保故障排除顺利进
数字档案的安全性是数字档案保存的重中之重,是数字档案工作中不可忽视的部分,尤其是最近这些年随着科学快速发展的步伐,计算机信息对档案管理工作的协助,数字档案信息化进程
建立海外统一战线,是中国共产党在新时期爱国统一战线的新形势下的重大决策。分布在世界各地的四千多万海外华人华侨,无论处于哪个时期,始终支持和关心中国的发展与建设,他们
伴随着建设工程的快速发展,建设工程项目的管理水平也得到了相应的发展与提高,一个重要的表现在于招投标制度的实施和不断的完善。我国自从20世纪80年代初在建设领域引进招投