自然语言处理的目标是希望机器能够使用自然语言和人类进行沟通交流,在对话中,理解词语的词义是正确理解句子或全文的基础。而词义的确定与词语的上下文、语言背景、交流环境都有着不可分割的关系,想要机器可以像人一样自动地对词语词义进行判断和选择,是一种难度较高的任务。于是词义消歧顺势而生,成为自然语言处理中重要研究方向之一。作为自然语言处理中的底层研究,词义消歧在很多高层次领域的任务中都有着用武之地,比如机器翻译、信息检索、文本分析等一些自然语言任务。从词义消歧提出到现在,期间涌现了大量的解决办法,典型的方法可以大致分为两种:一是传统的基于知识库的词义消歧,另一种是结合机器学习的监督词义消歧。前者的实现效果虽然优良稳定,却强烈依赖于知识源的完备性,而现有语义知识源的匮乏和静态特性极大地阻碍了这类消歧方法的提升。后者中效果最好的策略之一是基于上下文嵌入的词义消歧模型,虽然基于上下文嵌入的消歧性能相较于传统方法有了一定的提高,但是缺乏标记数据同样限制了模型的灵活性和泛化性。基于上述问题,本文将对基于上下文嵌入的词义消歧模型进行改良,基于Word2Vec的基本结构对上下文嵌入表示部分进行重新设计,以学习到能够良好表征目标词词义的上下文嵌入,本文的研究工作可分为以下几个方面:一是使用基于双向长短期记忆网络的上下文嵌入模型实现词义消歧。首先为了提取能够良好表征目标词词义的特征,本文对Word2Vec基础框架进行改进,基于双向长短期记忆网络提出一种无监督的上下文嵌入模型,借助双向长短期记忆网络捕捉上下文中的语义和语序信息,进一步我们加入注意力机制学习上下文窗口中不同词语对目标词的影响。然后,基于上下文嵌入模型和标记词义数据集构建词义嵌入库。最终,计算目标词的上下文嵌入和其在词义嵌入库中候选词义嵌入的相似度,选择分值最高的词义嵌入对应的词义作为目标词义,完成词义消岐。实验结果表明基于双向长短期记忆网络的上下文嵌入模型实现的词义消歧方法相较于基于Word2Vec的词义消歧在性能上有了明显的提高。二是构建基于transformer的上下文嵌入模型来实现词义消歧。为解决循环神经网络在长期依赖和难以并行计算的问题,基于transformer来构建另外一种上下文嵌入模型,以实现既能够有效捕捉到上下文中的语义和语序信息下,还能够并行训练,提高计算效率。之后,和基于双向长短期记忆网络的上下文嵌入模型实现的词义消岐模型一样,使用上下文嵌入模型和标记词义知识库构建词义嵌入库。最终使用基于transformer的上下文嵌入模型和词义嵌入库来完成词义消岐。实验结果表明相较于基于双向长短期记忆网络的上下文嵌入模型实现的词义消歧,基于transformer的上下文嵌入模型实现的词义消歧方法的确在消岐效果上有了一定程度的进步。