自然语言是人类按照某种规则组成的语言,如汉语、英语和法语等。而自然语言处理则是利用计算机对自然语言的形、音、义等信息进行一系列处理得到最终结果的过程。如对车牌识别是计算机利用图像识别技术对自然语言的形进行处理;微信移动端的语音转文字是计算机利用语音识别技术对自然语言的音进行处理;文本分类和自动文摘等则是计算机对自然语言的义进行处理。中文分词作为自然语言处理技术的第一步直接影响到应用结果的好坏,故其研究具有重要的市场价值。本文围绕如何提高新闻文本领域的中文分词性能开展了研究,主要工作及其创新性体现在以下几个方面:1.新闻文本分词研究。汉语文化博大精深,不同领域的文本有不同的特点,本文针对新闻领域的分词工作开展了研究。站在前人的肩膀上,利用现有的中文分词器对新闻文本数据进行第一次切分,随后分别对分词结果中出现的歧义词和新词进行二次处理。2.歧义词消歧研究。针对新闻文本出现的歧义词问题,提出了一种新的基于N-gram语言模型的双向最大匹配分词算法。首先将待分词的新闻文本分别进行正向最大切分和逆向最大切分,得到两种分词结果,随后在两种分词结果定位歧义词的位置,利用N-gram模型对歧义词进行消歧处理。实验结果表明本文提出的分词方法能有效的对部分歧义词进行消歧处理。3.新词识别研究。针对新闻文本中人名、地名、机构名以及专有名词等无法识别的问题,本文提出一种基于N-gram模型的多字无监督分词算法,当前大部分算法都在通过互信息和信息熵等统计量来判定中文字符串是否成词,本文反其道而行之,通过这些统计量,降低不同字与字之间的相关性,得到不符合成词规则的部分,将其删除,剩下的便是我们新闻文本中的新词。实验结果表明,本文所提出的方法在识别出文章中新词方面有较好的效果。