基于模板学习和深度学习的知识抽取和表示学习的研究与应用

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:xiaohai_wl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
知识就是力量。知识对于人类的生活至关重要,同时知识也是人工智能的基石。形成知识的过程本质就是在建立认知乃至理解世界。因为人类有获取、形成以及升华知识的能力,所以人类才可以不断进步。目前来说,机器可以从海量的数据中学出感知能力,包括视觉能力、听觉能力和语言输出能力。但是让机器学会具备认知能力却是非常之难的,比如让机器学会逻辑推理能力以及举一反三能力对目前来说是不太现实的。我们的目标是使机器完全理解知识以至于能达到灵活应用的效果。将知识应用到人工智能应用中分为三个阶段:知识抽取、知识表示以及知识应用。知识抽取的目标是能够从大规模非结构化文本中自动地抽取结构化知识。目前知识抽取任务具有以下第(1)点不足。基于符号逻辑的知识表示对于人类来说是很好理解的。但是这种表示形式对于机器来说特别难理解。因此,近年来大量的工作开始研究分布式向量表示学习(又称嵌入表示学习)。对于概念图谱嵌入表示学习和知识图谱嵌入表示学习,目前具有以下第(2)点不足。关于知识应用方面,我们选择两个应用场景来验证我们的想法:相似问题检索以及关系分类。这两个工作在目前的学习过程中都没有好好的利用知识信息,目前来说具有以下第(3)点不足。(1)目前,知识库经常表示为三元组形式(主语,谓词,宾语)。然而在某些情况下给定主语和谓词,宾语并不是唯一的。传统的基于知识库的自动问答系统通常对具有相似意图但条件不同的问题提供相同的答案。(2)在目前的概念嵌入表示学习过程中,只有两个词出现在一个上下文窗口时,对应的概念信息才会被考虑。在知识图谱嵌入工作中,知识图谱中的逻辑结构信息有很强的推理能力,但是在目前的知识图谱嵌入工作中被忽略了。(3)目前没有一个框架能同时解决相似问题检索任务中五个方面的挑战:同义性、多义性、词序、问题长度和数据稀疏性。对于关系分类任务,现有的模型都将其视为一个普通的分类任务,而忽略了三元组信息。在本文中,我们提出了一系列解决上述局限性的方法。综上所述,本文的贡献如下:(1)为解决第一点缺陷,我们从问答数据和搜索日志中构建了条件型知识库,并搭建了一个基于条件型知识库的对话系统和用户进行聊天并补充用户提问中缺失的条件。同时我们提出了一种新的网络嵌入表示学习方法对具有两种不同关系的网络进行编码。(2)为解决第二点缺陷,我们提出了同时从依赖于上下文的视角和独立于上下文的视角来学习概念和词的向量表示。同时我们提出了一种基于逻辑结构分布式编码的知识图谱嵌入表示学习的框架来增强推理能力,它可以很容易地与任何基于翻译的知识图谱嵌入模型相结合。(3)为解决第三点缺陷,我们使用一个基于高阶特征嵌入表示~1的卷积语义模型直接学习问题向量表示。同时我们提出一种基于值卷积的注意力机制来加强卷积语义模型。最后,我们提出使用一种基于多视图学习的方法来训练卷积语义模型从而解决数据稀疏性问题。为了使知识图谱编码到关系分类中,我们提出了一种基于知识图谱驱动的关系分类方法。该方法可以很容易地与现有的基于pairwise排序损失函数的神经网络模型结合使用。同时我们提出一种数据增强的方法能够使用一个句子样本同时学习关系的向量表示以及逆向关系的向量表示。在把知识应用到人工智能应用的每个阶段中,我们进行了大量的实验并通过和多个基准模型对比来验证每个阶段中我们所提出的模型算法。我们的实验结果表明我们提出的方法均能提高相应任务的性能。
其他文献
1资料与方法1.1病例选择68例患者均为我院肝病中心1996年~1999年收治的慢性重型肝炎,诊断均符合1995年全国传染病与寄生虫病学会制定的标准,且中医辨证均属湿热内蕴型.68例患
背景:大鼠脊髓完全性横断模型是研究神经组织工程的常用模型,使用既往造模方法横断脊髓后,无法保证断端间隙长度的相对统一,以致无法客观评价各种治疗方法或组织工程材料的效
对高校教师的绩效考核关系到高校人事制度改革的成败,因此构建科学、合理的绩效考核体系成为高校人力资源管理工作的重点。本文从高校教师绩效考核应遵循的原则、绩效考核体
根据数控机床宏程序的变量技术和编程技术特点,说明宏程序不仅是一种数控编程的手段,更重要的是使用宏程序能优化加工工艺过程。本文利用宏程序解决了外圆锥面等高加工的编程技
我院从1996年3月~1997年7月,在常规治疗的基础上,应用北京宏波科技开发公司研制生产的肝病治疗仪,治疗慢性肝病82例,经与同期住院的单纯常规药物疗法进行比较,前者对缓解及消
哲学教育是建立在人性化教育基础之上的实践活动。人性化教育要求以人为本,只有对受教育者进行人性化教育,哲学教育才具有针对性。
【正】 莫永明著的《陈其美传》(上海社会科学院出版社出版)是建国以来的第一部比较系统、全面评述陈其美(英士)一生的专著。该书叙述了这位辛亥革命烈士的家世及其在近代中
目的:探讨甘利欣联用凯西莱治疗早期肝硬化的临床效果。方法:对27例治疗组患者和18例对照组患者进行对照研究,在用药前后分别进行临床评估和检测肝功能、肝纤维化指标变化情况。
语境问题是一个重要课题,对语言学研究具有非同一般的方法论意义,对语言学及其分支学科的发展有重要的指导意义.20世纪以来,语言学研究对象转向自然语言,研究对象发生了分化,
【正】 民国十六年党军入闽后福建省债务一览说明一、编列债务之范围本省债务依二十三年度地方岁出概算案所列,均系十六年党军入闽以后欠款。关于十六年以前债务,如负欠福州