序列标注中的神经网络方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:mkl119
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
序列标注是自然语言处理和机器学习领域中的一项重要的基础性工作,是近年来的一个研究热点。本论文研究序列标注中的神经网络方法,具有理论意义和应用价值。  论文的主要工作和创新点归纳如下:  1、提出了一种基于多层感知机的序列解码方法  该方法首先将词、词性和标签信息用预训练的实值向量表示,然后引入前词的标签信息,在解码时利用柱搜索方法,在一定程度上捕捉标签之间的依赖关系。在汉语和英语范畴标注任务上的实验表明,该方法有效提高了范畴标注的准确率。  2、提出了一种动态窗口序列标注模型  多层感知机需要用固定窗口来获取上下文特征,但是窗口的大小不易选取,且不同的词所需要的窗口信息也可能不同,本文设计了动态窗口模型来解决这一问题。该模型借鉴长效短期记忆(LSTM)网络中的门机制,通过设计的过滤门来动态提取上下文窗口中的信息,利用基于位置的注意力机制聚焦窗口内容。实验表明,该模型可有效提升现有神经网络方法在范畴标注任务上的性能。  3、提出了一种跨层堆叠的双向长效短期记忆标注模型  该模型针对层数过深会导致网络难以训练的问题,借鉴残差网络的思想,引入了跨层连接方法以加速收敛,并提出了在双向网络上三种基本的跨层连接方式,以寻找最优传输通道。此外,针对跨层连接会带来额外的迭代计算开销的问题,设计了一种跨层模块来优化跨层的信息传输结构,把长效短期记忆网络细胞模块中的自连接部分用跨层连接替代,因此无需保留自连接部分,从而降低了迭代计算开销。在范畴标注和词性标注任务上证实了跨层模块的性能要好于普通的跨层连接,并且在范畴标注任务上达到了目前的最好水平。
其他文献
抽动秽语综合征(Tourette syndrome,TS)是一种儿童常见的神经精神性疾病,TS的病因至今尚不明确,临床缺乏客观指标评价TS及估计预后。TS复杂的临床表现使得其诊断仍具有相当的主
作为光学成像系统的重要技术之一,自动调焦技术经过几十年的发展,已广泛运用到相机及显微镜等成像领域当中,并出现了多种调焦方法,如测距法和相位检测法。随着数字图像处理技
学位
原油电脱水器是石油石化企业中的核心设备,而电脱水脉冲电源则是电脱水器的核心组成部分,因此电脱水脉冲电源质量的优劣直接决定着原油脱水的效果。目前各大油田中普遍采用的
工业无线网络技术是继现场总线之后,工业控制领域的又一个热点技术,是降低工业测控系统成本、提高工业测控系统应用范围的革命性技术。WIA-PA(Wireless Networks for Industr
学位
光学分子影像技术是一种融合信息科学、数学以及生物医学的多学科交叉前沿成像技术,它的出现和应用,推动了医学影像的快速发展。在光学分子影像技术中,研究者将荧光标记物作为示
基于视频图像处理的交通对象检测与分析是智能交通系统研究的重要组成部分。随着视频监控硬件技术和视频图像处理软件技术的快速发展,智能交通视频监控分析受到了广泛关注,并开
针对大规模、高维度的图像分类任务,基于人工设计的特征提取算法很难快速准确的对图像进行识别。基于数据的特征学习方法,特别是深度学习,能够充分发挥并行计算架构的优势,从大量
在鞋底生产过程中,为了快速响应市场,企业采用市场和客户的需求为导向安排生产,这使得面向订单生产是此类企业最重要的生产方式,根据客户的订单需求,实现生产计划的快速响应并合理
绗绣这种生产工艺在现代纺织生产中得到广泛的应用,是纺织服装企业常用的技术手段,它和一般传统刺绣产品无论在花色、款式、制作和工艺上都有很大的区别,经过绗绣处理后的产品一
学位
无线传感器网络的随机部署、自组织、环境适应等特点使其在军事、环境、医疗、工业和其他领域有广阔的应用前景和很高的应用价值。工业无线传感器网络是无线传感器网络在工业
学位