论文部分内容阅读
关系分类(又称语义关系分类)近年来成为了一个受到大量研究人员重视的任务,它不仅是构建知识图谱中的重要一步,对自然语言处理领域中如自动问答、信息抽取、本体学习等其他多项任务也大有裨益。近几年,针对关系分类任务,大多数学者提出的分类模型均是基于深度学习模型,Att-BLSTM模型为其中一项具有代表性的工作,基于融合了注意力机制(Attention Mechanism)的长短时记忆单元(Long-short Term Memory,LSTM)循环神经网络(Recurrent Neural Networks,RNN),利用LSTM-RNN擅长提取句子中时序特征及长距离依赖信息的能力,并通过注意力机制提高模型对于语义关系句子中与最终分类结果更相关部分的关注程度,在没有利用任何人工特征的情况下达到了一个优秀的成绩。但Att-BLSTM模型在某些情况下会使得同一句子中不同时刻的相似词汇表达获得近似的被关注程度,尽管这些相似的词汇表达与最终分类结果的相关程度并不相同。这主是要因为Att-BLSTM模型仅通过句子中每一时刻的词汇其本身来计算关注程度。同时,在语义关系分类中,句子中具有语义关系的两个实体通常有一个为主动实体,另一个为被动实体,也就是语义关系具有方向性。基于上述问题,本文在Att-BLSTM模型的基础上进行了改进,主要包括以下工作:1.我们对Att-BLSTM模型中的注意力层进行改进,做法如下:1)将注意力层中计算注意力权重的模块改为一个包含隐层的前馈神经网络。2)让注意力层同时利用句子中每一时刻的词汇与每一个语义关系类别的嵌入表示来计算该时刻的注意力概率分布。2.我们在Att-BLSTM模型的基础上添加了关系及方向表示层来学习句子的全局语义关系表示及关系方向性表示,做法如下:1)将关系及方向表示层设计为一个双向的LSTM-RNN层。2)将LSTM-RNN正向和逆向的最后一步细胞状态进行连接,将连接后的双向细胞状态作为关系及方向表示。3)将关系及方向表示与原有模型的句子表示进行融合来对语义关系进行分类。3.为了验证对Att-BLSTM模型进行上述两处改进的有效性,我们在标准测试集semEval数据集上进行了多项对比实验:1)Att-BLSTM模型与对其注意力层进行改进后的impAtt-BLSTM模型的对比实验。2)Att-BLSTM模型与对其添加关系及方向表示层的Att-Dir-BLSTM模型的对比实验。3)impAtt-BLSTM模型与Att-Dir-BLSTM模型的对比实验。4)Att-BLSTM模型与对其进行综合改进后的impAtt-Dir-BLSTM模型的对比实验。实验结果表明,impAtt-BLSTM模型及Att-Dir-BLSTM模型的性能相对于原有模型均有一定提高,且综合改进后的impAtt-Dir-BLSTM模型的性能有进一步提高。同时,为了进一步提高模型的性能,我们又进行了对抗过拟合实验以及替换LSTM隐层单元对比实验。最后,为了测试模型的泛化性能,我们在KBP37数据集上也进行了对比实验。