互联网热点话题的数据采集及数据集建立

被引量 : 4次 | 上传用户:JIAOAODENVWANG
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近期,基于复杂网络的热点话题涌现现象开始引起诸多领域的关注。热点话题的涌现,社区发现等研究也开始兴起。在对热点话题进行研究的前提就是要对互联网上相关话题数据进行采集并建立标准数据集合。本论文针对目前互联网中信息来源进行分析,综合了内容分析和链接分析两个方面,对论坛、博客、新闻和微博进行了页面结构化分析,提出一种基于视觉特性的包装器归纳方法针对互联网数据进行采集,最终建立数据集。本论文主要有四个方面的工作:首先,对网站中的信息内容网页进行结构化分析。将页面按照分块理论进行归纳,总结出内容块,功能块和链接块三种不同特性的块,从而抽象出页面模型。其次,在总结了不同页面抽取算法的情况下,重点研究了基于人类视觉特性的页面提取算法,即按照人类阅读的视觉特性,将页面上的被关注信息提取出视觉特性的统计特征。第三,设计了一套从基于爬虫技术的爬取器,到基于视觉特性的统计特征的包装器完整的信息抽取系统。本文实验采集了10个网站的300个互联网页,通过统计特征提取建立了数据样本集合。最后利用样本中的页面进行测试,查准率,查全率以及F-score都在90%以上。第四,对网上非常热门的微博网站嘀咕网进行了数据的采集工作,并建立的标准数据集。节点数200862,好友关系数4345668,跟随关系数4344453。建立成标准集以供研究使用。
其他文献
我国的电视足球解说大抵滥觞于上个世纪六七十年代,作为电视体育解说的一脉分支,它在我国只有三十多年的发展历程。现阶段,我国的足球解说员数量很多,但良莠不齐,总体上不尽
2008年金融危机席卷全球,以粗放型经济为特征的中国在此次危机中受到了一定的冲击,国家提出优化调整产业结构,充分发挥人才优势,尤其是高层次应用型人才,以应对此次金融危机
鄱阳湖是长江干流重要的调蓄性湖泊,在我国长江流域中发挥着巨大的调蓄洪水和保护生物多样性等特殊生态功能。鄱阳湖湿地是我国七个国际重要湿地之一,也是世界自然基金会划定
港口在经济发展中起着很重要的作用,由于结构在使用过程中,所处环境复杂,受到环境侵蚀和材料劣化等原因,结构构件会出现老化、腐蚀等损伤,其健康状况令人担忧,码头结构在后续服役期
<正>原发性痛经(PD)又称功能性痛经,是一种生殖器官无明显器质性病变的痛经,以青少年女性多见。中医谓之"经行腹痛"。目前临床上西医多以止痛药物等对症治疗为主。中医则以内
2008年的电信重组使得三家电信运营商具有全国性的网络资源,成为了具有全业务能力和较强竞争力的市场竞争主体。而历经多年的三网融合在2010年迈出了关键性的一步,进入了实质
【目的】观察益气血补肝肾中药周期辨证施治对辅助生殖技术胚胎质量的影响及其临床疗效。【方法】收集2009-02-01至2010-04-30在我院辅助生育中心就诊的符合纳入标准的不孕症
随着经济的发展,我国高速公路建设不仅仅局限于平原地区,穿越山区和高原的高速公路也正在蓬勃发展。受地形、地貌的影响,山区高速公路不可避免的会出现较多坡长较长、坡度较大的
3G牌照发放及电信重组后,中国电信行业进入全业务运营时代,三大运营商间的客户争夺竞争凸显激烈。客观上要求企业加强对客户的研究,提高市场反应速度,实现以客户为导向的营销
GJ公司是一家以提供户外传媒为主营业务的中型专业广告公司,在经过十几年的发展后企业在其区域行业领域内已渐露锋芒,可伴随着广告行业之间竞争的日趋激烈,越来越多大型外资