微博分析系统的设计与实现

被引量 : 1次 | 上传用户:azsxdcfvgb0987654321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近几年互联网产业的发展,社交网络与人类的生活正在变得越来越密不可分。微博作为社交网络的典型代表,正在受到越来越广泛的关注。微博上的数据越来越丰富,其信息可以涵盖科技、人文、政治等诸多领域。面对这样的海量数据,用户却越来越难以找到需要的信息。微博分析的主要目的就是对海量的微博数据进行筛选和归纳,帮助用户尽快找到需要的信息。本课题就是实现了这样一个微博分析系统。本系统从机构内部的群体用户信息着手,分析用户特征。本课题对系统的整体框架进行了设计,将系统分成数据获取、数据存储、数据分析几个主要模块,尽可能提升系统的稳定性与可扩展性。系统基于Hadoop平台设计,提高了对于大数据的处理能力。在数据获取模块,我们结合网页爬虫和微博API实现了一个功能健全的微博爬虫,完成了数据存储、更新等功能。在数据存储模块,我们对数据库表进行了设计,以实现系统运行效率与存储空间之间的平衡。数据分析模块,本课题从群体、社团内部、用户个人交往圈三个层次着手,进行了用户交往圈、文本、LBS(基于位置的服务)等领域,多个模块的分析,主要功能点包括社团发现、影响力计算、热点话题、关键词提取、微博位置推断等。其中,微博位置推断模块是本文的研究重点。这部分主要是为了解决微博上位置信息过少的问题,从而为LBS其他方面的研究,例如基于微博位置的推荐等内容奠定基础。在这方面,本课题利用词语的空间、时间分布,优化了地区性词语抽取的效果,同时,通过对用户行为和用户关系的关注,大大改善了位置推断的效果。同时,为了更好的解决微博位置类型标注问题,我们还研究了微博文本分类算法,并且取得了良好效果。
其他文献
<正>苏霍姆林斯基曾说过:"整个教育过程的文明,取决于课堂教学每天都有所改进,而改进课堂教学,就要校长对课程进行深思熟虑的分析,经常听课的校长才能了解学校的情况"。观课
此文是朱寿桐为新出版的两本论著所写的序言。其一是庄园的《个人的存在与拯救》,作为她的博士生导师,他指出该书为解开高行健创作的价值之谜提供了较为清晰的学术思路,他还
为分析离散杆与EFP复合战斗部对典型战斗机毁伤效应,根据强度等效原则,采用动力学有限差分程序建立了数值模拟模型。采用流固耦合与接触算法,模拟了爆炸冲击波、离散杆条、EF
目的:观察壮医匹绸方对慢性盆腔炎(CPID)模型大鼠子宫组织形态、炎性介质IL-10、MMP-2及生殖激素E2、P表达等影响,探讨壮医匹绸方治疗CPID的作用机理,为临床壮医匹绸方治疗CP
目的:本课题观察安肠汤对肝郁脾虚腹泻型肠易激综合征患者的临床疗效。通过对该病患者的症状体征、理化指标、中医证候、不良反应发生率及安全性等的变化来评估安肠汤对腹泻
长江中游宜昌至昌门溪河段航道整治二期工程属于“645工程”中4.5米工程的先期工程。文章分析了宜昌只昌门溪河段航道特点,提出了工程实施的难点,总结了船舶安全管理的相关措
本文以时间为主线,通过对历年提出的较有影响的市场营销组合策略理论进行综合梳理,对不同理论出现的特定的营销环境进行分析,试图对营销组合策略理论的演进及其之间内在关系
随着人们生活水平的提高,科学技术的日新月异,人们对于档案管理这种历史沿袭下来的传统事物也逐渐提高了认识。可是,现存的管理落后、效率低下、认识水平有限等问题也接踵而
目的:探讨以健脾除湿法为理论基础的健脾止痒散治疗脾虚湿蕴型小儿湿疹的临床疗效,并与临床上小儿湿疹的常用治疗方案进行对比分析,进而为中医临床治疗脾虚湿蕴型小儿湿疹提
在市场竞争日趋激烈的今天,如何解决高职学生的就业问题得到人们的普遍关注。出现高职学生就业难的原因有很多,本文从作好就业指导工作的角度,结合自己的教学工作实践,对如何