基于深度学习的汉语依存分析方法研究

来源 :北京交通大学 | 被引量 : 3次 | 上传用户:xsbnwxy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
依存句法分析是自然语言处理的一项关键基础技术,其目标是根据依存语法理论识别出词语之间的语义修饰关系并建立相应的依存句法树。依存句法树具有表现形式简洁高效等优点,成为计算机理解自然语言的重要表达形式,被广泛应用于机器翻译等自然语言处理任务中。与英语和日语的依存句法分析水平相比,目前汉语依存分析的精度尚且不高,其主要原因有两方面。一方面,汉语的词语之间没有分词标记且汉字构词能力较强,容易分词错误;另一方面,词形变化、格助词和从句连词等表层信息的缺失,使得词性标注和依存句法分析的歧义性更大,增大了任务的分析难度。在实际应用时,汉语依存句法分析需要分词和词性标注的结果,这两项任务的准确度直接影响依存句法分析的精度。对此,研究人员提出汉语分词、词性标注、依存句法分析的联合模型,通过三项任务的并行处理以及中间结果的相互利用来解决任务间的错误传播问题。因此,如何利用三项任务的中间结果作为特征,相互提携同步提升精度成为本领域的探索热点。本文旨在研究基于深度学习的三项任务联合处理的汉语依存分析方法。我们利用深度学习自动学习特征和获取全局信息的优势,实现基于转移的依存分析联合模型。本文的主要工作和贡献总结如下:(1)提出依存子树编码方法。依存分析联合模型在分析过程中生成的依存子树结构复杂多样且数量不固定,使得依存子树特征的利用变得复杂困难。目前基于特征工程的方法和基于神经网络的方法仅能提取分析栈栈顶的部分依存节点信息用于决策,而无法利用分析栈内的所有信息。针对这一问题,本文将分析栈的结构与神经网络结合,提出Stack-Tree LSTM依存子树编码方法,以获得完整的依存句法树特征,同时避免繁琐的特征工程。评测实验结果表明,本文所提方法可以提升长句和长距离的依存分析精度,在分词、词性标注、依存分析上的精度均超过已有的基于神经网络的依存分析联合模型,F1值分别达到97.78%、93.51%和79.66%。(2)设计实现基于位置的汉字语义表示学习方法。汉字作为汉语的语义单元,其语义依赖于所出现的语境,而传统的汉字语义表示方法使用唯一固定的、与语境无关的向量表示,显然不合理。本文利用汉字在词语中的位置区分汉字的语义,采用经典的位置标注方法(B/M/E/S)为汉字设计四种基本语义向量;然后引入注意力机制,根据汉字所在句子的上下文信息对基本向量加权求和以获得最符合当前句子语境的汉字语义表示。评测实验结果表明,该方法可以有效提升汉语分词的性能(+0.3%),并使得依存分析性能提升(+0.59%)。(3)提出基于Encoder-Decoder的汉语依存分析方法。已有的依存分析联合模型在决策时仅考虑当前状态信息,并未利用历史状态信息,也未考虑转移动作之间的依赖关系。本文针对这一问题,提出基于Encoder-Decoder的汉语依存分析方法。在Encoder部分,本文结合基于位置的汉字语义表示学习方法和双向LSTM,准确表示汉字的语义信息和句子的全局信息;在Decoder部分,本文设计一个特征提取器用于获取解码过程中每个时刻的n-gram特征、词性特征和依存子树特征,然后利用LSTM记录历史状态信息和先前所有的解码结果,为每个时刻的决策提供更加丰富的特征。评测实验结果表明,该方法在三项任务上的F1值分别达到97.88%、93.82%和80.47%。与已有的基于神经网络的依存分析联合模型相比,分别提升 0.16%、0.70%和 1.44%。综上所述,本文提出了基于深度学习的三项任务联合处理的汉语依存分析方法。通过在国际公开数据集Penn Chinese TreeBank上搭建模型和开展评测,验证了所提方法中各个部分的有效性,并与已有代表性方法进行对比评测,充分验证了本文方法的有效性。与基于神经网络的依存分析联合模型相比,本文所提方法在三项任务上的精度均有所提升,在依存分析上的精度提升最为显著。
其他文献
稀土离子能级结构丰富,发光波段广泛,基于稀土离子制备的发光玻璃在发光材料、通讯及光纤激光等方面具有无可替代地优势。石英玻璃物化性能稳定,是目前市场主流的玻璃基质。
<正>2006年,是陕西省实现"十一五"规划的开局之年、是高点起步的一年。省委、省政府牢固树立科学发展观,认真贯彻党中央、国务院一系列重大战略决策,努力促进经济社会协调发
会议
本文简述了输电线路对通信线路,广播电视,人体生态的危害与影响,提山了目前环境保护方面急需解决的问题,从科学技术方面提出了建议及解决办法。
中国特色现代大学制度既要具有中国特色,还要具有现代大学制度特征。党委领导下的校长负责制是富有中国特色的高校内部领导体制,只能加强而不能削弱或取消,坚持和完善党委领
为推动能源清洁低碳化转型,加快实现非石化能源比重的发展目标,我国提出了超前谋划水电等清洁能源的发展布局,并在西南和西北地区规划和开工建设了一批高坝大库,其中高土石坝
自古以来,中国画强调“外师造化,中得心源”。在艺术绘画创作中,“意”的观念很强,既可以传之画内,又可以传之画外,而作品的表现方式对画面的意象性表达起着至关重要的作用。