基于注意力机制的双通道神经网络命名实体识别

来源 :安徽理工大学 | 被引量 : 0次 | 上传用户:shenyunyong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
命名实体识别在自然语言处理实用化技术中占有重要地位,其目的是识别文本中有特定意义的实体并根据实体类型对其进行分类。针对基于统计方法需要大量时间构建特征以及深度学习方法缺乏丰富的输入语义信息问题,本文提出了基于注意力机制的双通道神经网络命名实体识别模型。以解决序列标注问题常用的模型BiLSTM-CRF作为基准,并对基准模型改进使其在中文命名实体识别任务中发挥更高性能。主要研究内容如下:(1)提出双通道神经网络命名实体识别模型(DW-BiGRU-CRF)解决命名实体识别输入语义信息量不足的问题。首先使用word2vec和GolVe词向量工具将实验语料转换成相应的向量表示形式作为模型通道1和2的输入数据,然后采用BiGRU网络编码提取向量的语义特征,最后CRF用于预测和输出最佳标签序列。实验显示,DW-BiGRU-CRF命名实体识别模型在《人民日报》语料库中的平均准确率、平均召回率和平均F1值分别为94.77%,93.51%和94.13%。(2)提出基于注意机制的双通道神经网络命名实体识别模型(DW-BiGRU-ATT-CRF)解决上下文冗余信息对命名实体识别的影响。在神经网络训练中添加注意力机制做重要度计算,生成特征向量的加权语义表示,增强与当前实体有关上下文信息的联系,以提高实体识别的准确率。与DW-BiGRU-CRF模型相比,DW-BiGRU-ATT-CRF模型的平均准确率、平均召回率和平均F1值分别提高了 1.2%,0.75%和0.98%。实验结果表明,本文提出的DW-BiGRU-ATT-CRF命名实体识别模型能准确有效的识别出自然语言中的命名实体。本文创新地采用双通道神经网络来丰富模型输入语义信息量,并考虑了包含命名实体的自然语句中每个单词的影响程度不同引入注意力机制,利用注意力机制将BiGRU提取的语义特征向量赋予不同的权重,从而提高模型识别的准确率。图[20]表[19]参[62]
其他文献
近年来,我国经济社会驶入了高速发展轨道,作为第三产业主要支撑的旅游行业也得到了快速发展,也面临着更大的挑战。日益激烈的市场竞争,迫使旅游景区做出管理模式的更新和升级,目前对于旅游景区的管理智能化程度还无法匹配当前旅游业的发展水平。特别是对于管理水平较为落后的中小型景区,如何在有限的成本下,更好实现智能化可视化管理,对整个旅游景区的主要景点和各个环节进行远程、实时、直观的监测,实现对各个服务场景的信
水下机器人作为水下作业设备,对水下目标的识别、检测以及跟踪定位等向来是视觉系统研究重点。水体对光的吸收衰减以及其中蕴含的杂质会降低水下机器人视觉成像的质量,无法清晰呈现水下目标的图像信息,成为制约水下机器视觉智能化发展的重要瓶颈。随着深度学习的发展,将水下机器设备的视觉系统与深度学习结合,提升图像质量还原其中的目标图像信息以更好地完成水下检测识别任务。为了提高水下机器人作业的准确性和可靠性,开展水
物质经济的蓬勃发展,使我国交通也越来越方便,从地面工程的公路、铁路到地上工程的高铁、轻轨,再到地下工程的地铁、隧道等,我国的交通网越来越密集,人类的出行越来越方便。为了满足日渐扩大的交通量需求,缩短地区净距,大断面公路隧道也逐渐成为国家交通工程发展的对象。对于大断面隧道围岩来讲,其跨径较大,隧道的扁平率也相对较高,其施工难度相对于中小型断面围岩更高。本文以浙江某大断面公路隧道为研究背景,通过弹塑性
为保证矿井生产期间防治水的独立性,保证矿井安全、不受邻矿闭坑矿井水害的威胁,矿井之间必须留设矿界煤岩柱。但由于矿井地质条件的复杂性与矿界煤岩柱受到后期的扰动破坏,导致矿界煤岩柱突(透)水事故还时有发生。因此,研究矿井闭坑后矿界煤岩柱采动损伤及其隔水性,对于评价闭坑矿井水对邻近生产矿井的影响,保障矿井安全生产具有重要的意义。本文以恒源煤矿与相邻闭坑矿井刘桥一矿之间矿界煤岩柱为研究对象,分析了矿井地质
目的:通过对股骨近端抗旋髓内钉(PFNA)和人工股骨头置换(FHR)在治疗老年患者股骨转子间骨折的对比性研究,来分析两者临床疗效的差异,为临床选择何种手术方式提供依据。方法:选取安徽理工大学第一附属医院2019年3月-2020年2月收治入院手术的76例股骨转子间骨折患者(年龄75-98岁)的病历资料,根据手术方式的不同,分别分为PFNA组和FHR组。PFNA组42例,其中男性20例,女性22例;年
论文以韩城市桑树坪煤矿为工程背景,从厚硬砂岩顶板条件下不等厚煤层开采,采场覆岩破断后形成的采场空间结构入手;分析不等厚煤层开采条件下矿压显现影响机理;研究不同开采厚度时引起的围岩应力、位移场、弹性变形能和塑性区分布特征;并针对厚硬顶板下突出煤层开采问题,设计顶板预裂爆破卸压增透技术方案,保证工作面安全高效回采。主要研究成果与结论如下:基于关键层理论,对4321工作面上覆关键层位进行辨识,并对亚关键
无线电波透视法具有操作轻便、数据采集快、探测效果好等优点,广泛用于煤层工作面断层、薄煤区等构造异常区探查。进行煤层大宽面探测时,电磁波信号衰减严重而产生较强的低阻假异常;对工作面落差较小断层的探测也不明显。为此,本文提出煤层工作面地质异常无线电波源检同巷探测法进行面内地质构造探查。采用理论分析、数值模拟和现场试验等研究方法,对无线电波源检同巷探测方法涉及的基础理论进行研究,具体内容如下:论文首先基
江苏省河流众多,河流两岸水土流失甚至岸堤坍塌等问题常有发生,急需采取工程措施维持岸堤的稳定。传统的河道护坡方式存在环境不友好,与我国可持续发展理念不相符合的问题。另一方面,桑条秸秆作为农业废弃物的一种,有效利用途径匮乏,处理不当易造成环境污染。因此,将桑条秸秆制作成秸秆拱用于河道护坡具有一定的理论价值和实际应用价值。本文针对桑条秸秆拱应用于河道护岸的可行性进行研究,开展了一系列的室内和现场试验。分
行人检测技术是计算机视觉领域下的热点研究内容,随着人工智能技术的进步与需求增加,行人检测成为了很多热门应用的基础性研究,如视频监控、自动驾驶、人工智能机器人等。在过去二十年里,行人检测技术在研究领域的热潮越来越高,特别是进入深度学习以及大数据时代,深度卷积神经网络的出现促使目标检测技术进步飞快,也驱使行人检测的发展,深度学习卷积网络的通用目标检测模型让行人检测获得了良好性能。当前卷积神经网络在面对
随着网络信息技术的快速发展,信息过载成为大数据时代的一个普遍问题,推荐系统(Recommendation Systems)在解决信息过载问题上发挥着至关重要的作用。但网络上可访问的数据量急速增长导致数据稀疏问题,这意味着明确的评分反馈并不总是可用的,而且主流的推荐算法都忽略了近期偏好对用户相似性以及推荐结果排名的影响。这些问题都成为了影响协同过滤(Collaborative Filtering)推