如今,现代通信技术及互联网技术高速发展,如何对互联网上最新发生的热点、敏感事件进行第一时间发现,并对其进一步的发展动态进行自动追踪,成为海量网络信息处理领域的研究热点。本文研究网络主题自动检测技术,主要包括:网络数据采集、网页内容提取、命名实体提取及主题自动检测技术,主要取得如下四个方面的研究成果:(1)研究网络数据采集技术,在传统web数据采集的基础上构造分布式网络数据采集体系,完成对大规模动态网络数据的分布式采集。该采集体系在网络数据一般结构的基础上,采用“主从分布、自主协同”的分布式采集体系架构,融入多种采集策略,实现大规模动态网络数据的高效采集。(2)研究网页内容提取,提出一种基于锚文字计算的网页内容提取方法。该方法针对网页局部噪声,该方法首先对网页源码进行结构分析,通过标签提取对网页进行内容块确定;其次,对内容块的锚文字比例进行计算,采用一定阈值进行网页文本内容判决;最后,通过计算每一个内容块与网页标题的比例,最终实现网页文本内容的完整提取。实验结果表明,与传统提取方法相比,该方法网页内容提取完整性和准确性都有较大提高。(3)研究命名实体提取技术,提出一种自定义规则的命名实体提取方法。该方法针对中文命名实体标注规范中出现的命名实体标注错误,采用正则表达式制定相应规则对中文分词结果进行修正,在此基础上完成对网络命名实体的准确提取。实验结果表明,该方法命名实体提取性能优于直接提取方法,是一种有效的网络命名实体提取方法。(4)研究网络主题自动检测技术,提出一种基于命名实体的网络主题动态自动检测方法。该方法针对传统主题检测对相似主题难以区分的问题,从主题重心向量表示上入手,利用命名实体与特征词组合来构造主题重心,采用自相似度最大最小聚类的方法,最终实现网络主题的自动检测。实验结果表明,该方法检测主题较传统方法在召回率上有一定提高,是一种有效的网络主题动态检测方法。