随着社交网络和移动互联的不断发展,人们对社会生活的参与性也越来越积极。这对新闻媒体是一大挑战,也是一个向新媒体转换的契机。如何更加快速的发现、报道有价值的新闻信息成为了新闻媒体亟待解决的问题。新闻价值往往取决新闻的实时性,只有以最快的速度获取社会的热点和热点趋势,才能获取具有价值的新闻。本文提出了基于微博的热点话题发现算法从微博上实时的发现社会热点话题,及时的挖掘出社会焦点和社会舆情,从而让新闻工作者从中挖掘有价值的新闻。本文的主要工作如下:(1)研究了社交网络的理论,了解了社交网络主要理论六度空间和小世界的理论;分析了网络爬虫,分析了网络爬虫程序主要分为递归实现和非递归实现方式;分析了网页解析技术,解析网络爬虫爬取的网页信息的技术主要有五大类;最主要介绍了话题模型的四种实现模型,并比较了这四种模型各自的优缺点。(2)设计了话题发现和识别模型,并通过热点话题发现算法和潜在热点发现算法进行话题跟踪和识别。首先通过布尔模型和向量空间模型对话体进行表示,然后对话题的评论进行噪声过滤;然后对噪声队列进行情感分析,将一部分被视为噪声的评论重新放回相关评论队列中;最后通过设计的热点话题发现算法和潜在热点话题发现算法进行话题跟踪和识别。(3)在新浪微博上通过对微话题的爬取,获得微话题的评论数和转发数。利用本文设计的话题发现算法对新浪微博上的排名前的话题进行了重新排名,得出了合理的结论,也对话体发现算法进行了验证。本文的创新之处:(1)本文提出了话题评论去噪的算法,通过此算法可以将话题的评论分为相关话题和非相关话题,这对之后的热度值HotDegree计算非常有用。(2)本文提出了增量观察算法(IOA)来发现趋势热点话题。对于一个话题来说,成为热点话题需要一个过程,所以如何判断的趋势走向就是本算法的主要解决的。