随着互联网的发展和普及,网络已经走进千家万户,人们获取新闻资讯的方式逐渐的由传统的报纸、广播、电视等方式向互联网媒体转变。可是面对海量的数据资源,人们往往难以从中筛选出对自己有价值的信息,而且这些庞大的信息如何有效的整合和管理也是个问题。所以为了有效的整合网络新闻资源,以及方便用户简洁而又全面的阅读体验,本系统中设计了一套完整的包含新闻爬取、关联分析、分类以及价值预测的新闻分析系统。主要工作包含以下几个方面:、在新闻相似性检测方面,实现了基于2特征提取和夹角余弦相似计算的新闻相似性度量,通过计算找出内容相似的新闻,根据相似新闻之间的关联关系发现新闻话题,以及根据新闻的发布时间,找出话题的源头等功能。、在新闻的重复性检测方面,提出了一种基于#)度量的新闻重复性度量方法。为了过滤标记重复新闻,改善用户阅读体验,本系统中还在相似计算的基础上进行新闻的重复性检测。该方法是受传统编辑距离算法的启发而来,在新闻的重复性检测中能够保证更高的检测准确率。、在新闻分类方面,本文中系统的分析了常用的多分类组合策略的优劣势,结合本项目的特点,提出并实现了一种基于特殊结构的二叉树支持向量机多分类算法3 2 2的新闻文本自动分类系统。、在新闻的价值预测方面,结合新闻价值的要素,设计了一套通过百度新闻搜索平台提取与新闻价值相关的特征,并编写定时器自动采集时间序列数据,应用3神经网络进行预测的新闻价值预测系统。4、基于上述的算法和功能点,实现了一个互联网新闻的分析服务与管理系统。通过该系统能够实现网络新闻的自动增量采集、相似性和重复性检测、分类以及价值预测等功能,能够有效的将互联网新闻资讯进行整合、提高信息使用效率,该平台具有广泛的应用前景和商业价值。目前该系统已经上线运行,已有4万终端用户。