基于上下文位置的文本匹配若干关键技术研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:nibeibei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于上下文位置的文本匹配,是一种将位置信息融合进文本相似度计算中,进而实现文本匹配的方法。相比于传统文本匹配算法,它能更好的对文本的序列特征和层次结构建模。自被提出以来,就受到了学术界和工业界的广泛关注。构建基于上下文位置的文本匹配模型需要关注两个问题:(1)位置信息的度量方法;(2)位置信息与相似度计算的融合方法。目前对于位置信息的度量,主要利用核密度函数来计算基于词距的位置交互信息。通常是为整篇文档中的所有词预定义一个核密度函数来进行位置交互信息的计算。但是,这种预定义的函数一般而言都比较粗糙,在进行文本匹配前,需要根据经验手动进行调节,不能满足多种上下文情景的需求。如何根据文本统计特征来自适应的为不同的词选择合适的核密度函数仍有待研究。此外,近年来兴起的深度学习算法由于其优秀的文本表示能力,在文本匹配任务上获得了远超传统模型的表现。然而,由于神经网络结构的复杂性和难解释性,位置信息目前只能作为深度学习模型的输入层参与到文本相似度计算中。如何将多维上下文位置信息应用到神经网络各层结构的搭建中,以及相似度计算函数的构造中仍然有待研究。针对以上问题,本文首先对上下文位置信息的度量方法和度量函数进行了深入研究,借助于数学概率理论来实现核密度函数在不同上下文情境中的自动转换,进一步满足人工智能的需求。同时,为了更好的将上下文位置信息融入到深度神经网络的构建中,本文首次尝试将上下文位置信息解析为时间位置信息和空间位置信息两种类别,并分别探索了利用门限机制、分层结构和分数阶微积分将其融合到文本匹配中的方法。具体来讲,本文的主要贡献如下:1.改进了传统基于上下文位置信息的文本匹配模型中位置信息的度量方法和度量函数。提出了优选核函数的概念,并根据概率论知识,提出了一种计算优选核函数的智能方法。通过这个方法得到的优选核函数能够根据上下文语境自适应的识别文本中的主题词和专业名词,并且加强这些词在文本相似度计算中的权重。它突破了无监督算法对传统文本匹配模型的限制,显著提高了其在信息检索任务上的效果。此外,优选核函数的计算方法不需要借助外部数据和预训练过程,不但大大减少了模型的复杂度,并且能够灵活的融入到各种基于位置的文本匹配模型中,具有较强的兼容性和稳定性。2.提出了带有位置门限机制的神经网络模型,研究了将上下文时间位置信息融入到循环神经网络中的有效性。我们把两段文本中共现词的位置影响力序列特征定义为上下文时间位置信息,并利用其生成了门限机制,在文本匹配建模过程中控制两段文本间交互信息的流动,一定程度上减少了由注意力机制所引入的噪音对文本相似度计算的影响。此外,基于位置的文本交互信息也被用于文本表示的生成,进一步强化了词序特征在文本表示中的作用,显著提升了循环神经网络进行文本表示的能力。3.提出了基于位置卷积的多维文本匹配模型,研究了将上下文空间位置信息融合到深度学习中的有效性。上下文空间位置信息度量了文本的层次结构特征,本文中我们首次尝试将空间位置特征解析为三个层级:单词级、词组级、句子级,并建立了多维文本匹配模型,实现了文本间的深度交互,显著提高了文本匹配在网页搜索上的效果。特别地,我们定义了位置卷积核,用于识别和提取不同层级的位置信息。位置卷积核基于核密度函数来构建,打破了传统卷积神经网络中随机生成卷积核的限制,为卷积神经网络今后的发展提供了一个可行的方向。4.提出了基于分数阶隐语义主题的神经网络模型,同时融合了时间位置信息和空间位置信息来进行文本匹配。通过考虑文本中单词在时间位置上的序列特征和主题在空间位置上的分布特征,实现了时间位置信息和空间位置信息的大融合,显著提高了文本相似度计算的准确率。特别地,我们将具有优良记忆和遗传特性的分数阶微积分算子引入到隐语义主题的生成中,从时空层面上生成带有位置特征的文本主题向量表示,缓解了传统主题模型所生成主题的歧义性和多义性问题。据我们所知,这是首次将分数阶微积分原理应用到文本处理领域的研究,从理论上和实践上为分数阶微积分原理在文本处理领域中的应用打开了大门。
其他文献
父母教养方式是对儿童的发展影响最大,也最直接的外在因素。随机抽取300名高中学生为调查对象,探讨其父母教养方式对高中生成就动机、学业自我效能感、学习定向的影响。结果发
煤矿机械设备的维修与管理是保证设备正常运行的主要手段,是提高工作效率和避免恶性事故发生的关键性因素。加强煤矿机械设备的维修与管理是一件相当重要的事情。文章阐述了
测定了高层半封闭式办公大楼室内空气中的甲醛、苯、甲苯、二甲苯污染物的浓度。其中甲醛浓度最高一点在新装修的办公室内,达到1.04mg/m3,超过国家标准的13倍;在苯系物检测的
文章从社会角度以及环境艺术的角度对城市雕塑的现状进行深入剖析。指出影响城市雕塑的社会因素是:政府领导的城市管理决策水平、规划部门的雕塑规划工作,市民的综合素质等;
为适应高层预拌混凝土泵送施工,从混凝土配合比设计、混凝土材料选用、施工泵送器械的选择和混凝土泵送管路铺设几个方面进行研讨,解决高层(高度200m以上)建筑预拌混凝土泵送
目的:探讨心脏骤停患者急救中,实施心肺复苏护理干预的方法及效果。方法:从我院2013年1月-2014年10月急诊科接诊的心脏骤停患者中选取54例,对其复苏方法及护理情况进行回顾分析
本文以我国《建筑抗震设计规范》、《高层建筑混凝土结构技术规程》为基础,参照美国《UBC-1997规范》对不规则的高层建筑的概念、定义作了详细的论述,对于不规则高层建筑设计
<正>2015年,世界影坛的表演艺术创作有这样五部作品是值得关注的:英国电影《45周年》,69岁的夏洛特·兰普林获第65届柏林国际电影节最佳女演员奖、第88届奥斯卡金像奖最佳女
目前,我国的交通发展迅速,但是渠化交通和超载现象非常严重,一些路面在投入使用后不久就出现裂缝、拥包、车辙、沉降等破坏,特别是在湿热气候环境下,这些破坏更加严重,所以路面材料
我国现行国营企业固定资产折旧政策集中体现在1985年国务院颁布的《国营企业固定资产折旧试行条例》上。条例明确了计提折旧的范围、依据和方法,规定了折旧基金的使用范围,