随着互联网技术的飞速发展和使用人群的快速增加,越来越多的人群通过互联网来表达自己观点。尤其是大学生使用互联网更加的频繁,互联网已经成了大学生表达他们意见的主要载体。在本文中,对网络舆情的理论、网络舆情信息的收集、网络舆情数据的预处理、网络舆情数据的分析和常见的文本聚类算法进行了全面的描述和分析。首先,研究了基于高校论坛的网络舆情信息采集和数据预处理技术。通过对高校论坛网站的数据获取方式的分析,提出了基于AJAX的动态网页获取技术。同时根据高校论坛的网页的结构信息,设计了基于DOM技术的网页清洗方法。采用盘古分词系统提供的API,对抓取的数据进行中文文本分词。传统的聚类算法通常是建立在通过词频建立文本向量来计算文本间的相似度的基础上,忽略了文本间具有潜在的语义关联的可能性。而且,传统的聚类算法因为是以词频来构建空间向量,维度过高,计算结果不够准确。鉴于以上的缺陷,本文提出了基于结合LDA主题模型和空间向量模型来计算文本的相似度的聚类算法。LDA主题模型是一个文本潜在主题的概率生成模型,可以解决文本之间语义的关系,同时,LDA主题模型具有强大的降维能力,可以提高聚类结果的准确度。本文提出的基于LDA主题模型和空间向量模型相结合来计算文本相似度的聚类算法,不仅解决了传统的文本聚类的深层语义信息丢失的问题,同时解决了LDA主题模型因为过分降维使得维度过低,从而使得文本区分能力不够的问题。依靠上述的研究成果,本文设计高校网络舆情分析原型系统的总体架构和各个功能模块,并通过VS2010进行开发实现,验证了本文的研究成果。