基于图网络的中文命名实体识别研究

来源 :太原科技大学 | 被引量 : 0次 | 上传用户:zy3201869
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言处理(Natural Language Processing,NLP)是人工智能领域的重要组成部分,该方向中包含了文本处理、信息抽取、情感分析、信息检索、机器翻译、问答系统等等应用。这些应用的基础工作是命名实体识别(Named Entity Recognition,NER),后续工作的效果将直接受其识别结果影响。中文命名实体识别的任务是识别待处理文本中各个代表具体实际意义的实体。目前,常用的解决方法是基于深度学习的方法,但传统的深度学习模型参数量大,无法有效捕获长距离特征,训练过程中无法充分利用GPU的并行性,而且传统的语言表示模型无法解决中文中存在的一词多义的问题,为后期工作造成困难。针对这些问题,本文提出以下两种解决方法:(1)提出了基于BSTTC(BERT-Star-Transformer-Text CNN-CRF)模型的中文命名实体识别方法。为了避免分词产生的错误进一步传播,在语言表示模块使用了单字向量的概念,并且使用了BERT模型以解决中文存在的一词多义问题。在特征抽取阶段,为了解决经典Transformer模型计算内存开销大且训练效率低的问题,使用了轻量Star-Transformer模型作为特征提取模块中的基础模型进行堆叠得到含有内部语义信息和句子局部特征的表示矩阵,并添加了Text CNN作为全局特征提取器以弥补Star-Transformer长距离特征提取的不足。最后,深度学习模型输出的特征向量序列作为条件随机场的输入从而得到句子序列最佳标签判别结果。通过设计多组对比实验,证明了该方法中各个部分的有效性,与现有模型对比结果也表明,此方法能够有效的提高中文命名实体识别效果。(2)提出了基于双向图注意力网络的中文命名实体识别方法。为了解决传统特征抽取模型Bi LSTM无法实现并行运算并且CNN模型很难提取到全局信息的问题,通过在两种图结构中并行运行图注意力机制模拟Bi LSTM与CNN的特征提取过程,这样做不仅可以捕获句子的远距离特征,而且充分利用了GPU的并行性。另外,考虑到句子的序列信息对于最终的标签判别结果具有一定程度的影响,在图注意力网络中使用了双向机制。实验结果表明,该方法较传统方法相比,在识别的准确率和F1值上均有提升。
其他文献
图像语义分割是计算机视觉中的一个重要研究方向,在自动驾驶、无人机及医疗等领域有广泛应用。传统的图像分割只能根据颜色、纹理和形状等底层特征对图像进行分割,能达到的分割精准性有限,无法满足实际需求。而图像语义分割则是在图像分类的基础上将分类对象由图像转变成了像素点。近年来,基于深度学习的交通场景图像语义分割技术成为一个新的研究热点,受到越来越多学者的关注。起初,基于深度学习的图像语义分割多是通过简单地
实际系统中普遍存在着的不确定性与时滞现象,会降低系统性能甚至引起系统不稳定。因此,研究时滞不确定系统稳定性与控制方法具有重要的理论意义和实际价值。滑模变结构控制对外界扰动及系统参数变化表现出较强的鲁棒性,已经在多类系统中得到了验证。本文以滑模控制理论为基础,结合Lyapunov稳定性定理、线性矩阵不等式和自适应理论分析三类不同的时滞系统,并设计具体控制方案。(1)针对时滞系统中存在的参数摄动和不确
随着制播技术的发展,有声语言在视频中的表达方式愈加丰富,视觉化趋势愈加凸显。多屏时代的媒体环境对有声语言传播提出场景化、情感化和话题性的新要求,本文以文化类节目为例,分析有声语言通过声音、图像、文字、视频等元素的多模态表达对节目表现力的提升作用,进一步探讨文化类节目的多平台传播创新。
随着海洋战略的实施,海工装备是实现海洋强国目标的重要环节之一。在海洋环境的影响下,深海起重机起吊点垂直方向的剧烈运动给起重机海上作业造成严重影响,使得钢丝绳或脐带缆断裂。主动升沉补偿可以减弱该影响。本文从深海起重机主动升沉补偿的控制方法入手,实现起重机深海环境下的安全作业。首先,利用海洋波浪动力学和牛顿第二定律搭建深海起重机的传递函数,将传递函数通过系统方框图建立状态空间方程,为互补滑模控制律的设
现如今,工业机器人之所以在各个工业领域随处可见,是因为其具有高效、节能、环保等优势。在机器人研究领域,工业机器人的轨迹规划一直都是研究热点,其目的是在给定约束条件下,在某些特定点之间,寻找一条光滑、省时节能且低残余振动的关节运动曲线,使机器人以高性能完成不同工作任务。本文主要针对六自由度工业机器人从时间和能量两个方面进行研究,主要研究内容如下:(1)使用旋量理论建立了机器人运动学模型,并对机器人正
交通标志中包含了重要的道路指示信息,由于车辆行驶道路复杂、标志种类繁多等原因,使得交通标志检测与识别成为智能交通和无人驾驶研究的热点问题。交通标志牌长期暴露在室外环境下,容易出现受损、被遮挡等情况,从而使得交通标志检测与识别系统效果较差,不能较好地满足驾驶员所需要的辅助驾驶信息。本文在YOLOv4算法与胶囊网络的基础上,实现了交通标志检测与识别,开展了以下工作:(1)针对交通标志检测中小目标检测效
近年来,光学字符识别(Optical character recognition,OCR)技术得到了非常广泛的应用,其相关算法也在字符检测和识别的运用中逐渐成熟。在工业场景下,铸造工件上的标识字符有着举足轻重的作用,通过标识字符可以查询到整个铸造过程中各个环节的详细信息。如果利用OCR技术去自动识别标识字符将大幅减少人们的工作,提高工作效率。但是在背景与字符低对比度的情况下,传统的OCR技术存在抗
随着科学技术的发展和人民生活水平的提高,人们对车辆自主化及智能化的需求逐渐提高,智能车辆技术也在稳步发展。面对复杂的交通环境,智能车辆将会对其驾驶行为做出自主决策,实现自动驾驶功能。换道行为是最常见的驾驶行为之一,智能车辆的换道行为与驾驶员操作相比,在安全性、舒适性及高效性等方面有明显优势。本文研究工作属于车辆辅助驾驶技术研究范畴,针对动态环境下智能车辆匀速换道行为的决策、规划、执行展开研究,以下
聚类分析是数据挖掘中的主要组成之一,其任务是利用数据内的相似关系,将数据集划分为多个不相关组,并广泛应用在农业、天文学、工业、医学和物理学等领域。密度峰值聚类算法DPC具有识别数据集簇中心点、快速簇分配和实现简单等优点,但存在人为设置截断度量参数、不合适的簇分配策略和无法识别非球形数据集等缺点,上述问题降低了聚类效果。本文对密度计算问题、簇分配问题等进行了研究。其主要研究成果如下:(1)给出一种基
作为无人驾驶的一个重要研究方向,园区无人车具有广阔的应用前景,可以实现无人售货、物流配送、安防巡逻和乘客搭载等多种功能。行人检测及姿态识别是园区无人车辅助驾驶系统的重要算法,有效的行人检测和姿态识别可以优化无人车的决策,保护行人安全。然而,现有的基于深度学习的行人检测及姿态识别方法虽然在精度上得到了显著提升,但其普遍存在网络模型大、计算量大、检测时间长和模型设计复杂等缺点。因此本文对基于轻量化模型