基于神经网络的通用自然语言标注模型

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:q3821713
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
标注任务是自然语言处理中的基础任务,有着广泛的应用。现有的标注方法普遍存在两种缺陷:1、通用性不高,模型表现很依赖针对具体任务设计的输入特征,对于新任务往往需要花费大量时间精力来重新设计、实验筛选特征以获取一个相对满意的表现。2、模型预测当前词的标注时只考虑了一个有限宽度的上下文窗口内的信息,未能利用整句的信息。针对这两种缺陷,本文提出了一种基于双向长短时记忆(BLSTM)循环神经网络(RNN)的通用标注模型。BLSTM-RNN具有强大的时序建模能力,理论上可以利用全部时刻的输入信息来预测某一时刻的输出,克服了过去模型只能利用有限窗口范围内信息的问题。我们只使用了非常简单的输入特征——当前词以及大小写特征,并使用词嵌套(word embedding)作为额外的补充信息。这些特征适用于几乎全部自然语言标注任务,具有很好的通用性。我们还针对BLSTM-RNN模型提出了一种新的训练词嵌套的方法,该方法可以在大量未标注语料上自动学习获取词嵌套。词嵌套的获取与BLSTM-RNN模型的训练独立,且不依赖任何针对特定任务的相关知识,因此不影响模型的通用性。我们在三个经典的标注任务:词性标注,语块切分与命名实体识别的标准测试语料上对本文所提方法进行了评测。在只使用同一套输入特征、模型结构与训练参数的情况下,我们的标注模型在每个任务上的表现都接近甚至超过了各任务中的已有最好方法的表现,显著超过了已有最好的通用标注模型的表现。我们提出的训练词嵌套的方法也超过了其它已有的词嵌套训练方法,能最大程度提高我们的通用标注模型的表现。
其他文献
随着地质钻探深度的不断增加,钻遇坚硬致密岩层的可能性越来越大。孕镶金刚石钻头在坚硬致密岩层中钻进时,一方面由于岩石的强度大、压入硬度高,金刚石压入岩石的深度很小,导致孕镶金刚石钻头只能以表面磨损破碎的方式碎岩,钻进效率低;另一方面,岩石的研磨性弱并且钻头产生的细岩屑对钻头胎体的磨损小,导致钻头中的金刚石不能及时出刃,容易出现“打滑”现象。针对孕镶金刚石钻头在坚硬致密岩层中出现的“打滑”和钻进效率低
背景及目的孤独症谱系障碍(ASD)是一类以社会交往障碍、沟通障碍及重复刻板行为为主要表现的神经发育障碍,其发病原因尚不清楚,目前最受认可的是遗传与环境因素的共同作用。
柴达木盆地盐湖卤水富含Li+、K+、Rb+、Mg2+等多种重要碱金属及碱土金属元素,具有很高的开发利用价值。本文针对柴达木盆地盐湖卤水的组成特点,开展了五元体系Li+,K+,Rb+,Mg2
由于热流场和应力场在裂纹尖端都存在奇异性,因此传统方法在对热弹性裂纹进行力学分析时具有一定的挑战性。对于一般的热弹性裂纹问题,在热应力分析之前应该先进行一次热传导分析,以提供裂纹尖端周围精确的温度场和热流场分布。本文利用Hellinger-Reissner变分原理,将热弹性裂纹问题引入哈密顿体系,得到辛对偶控制方程,并首次给出了热膨胀效应项所对应的解析形式的特解。利用所得到的辛本征解和特解,构建了
肌腱损伤在临床属常见疾病,由于肌腱组织细胞血管含量少损伤后难以自我修复,目前对于肌腱组织的研究仍停留在治疗手段上,而对其深层分子机制的研究甚少。3-磷酸肌苷依赖性蛋
湄洲湾位于福建省东部,紧邻台湾海峡,具有丰富的海洋经济资源和重要的政治军事地位,但随着人口的快速增长,其土地资源匮乏的短板不断凸显。为了克服这一矛盾,湄洲湾政府主持了多起围填海工程。围填海工程在促进当地经济发展的同时也破坏了海湾内生态环境的自然平衡,更有甚者将会导致经济的不可持续发展。此外,每年夏秋两季,湄洲湾都会遭受由风暴潮、大风大浪和内陆洪水带来的巨大损失。当台风靠近海湾时,较低的台风中心气压
羅漢圖像作為中國佛教美術創作的重要題材,早在南北朝時代便已開始流廣,尤其以繪畫和雕塑的形式最為普遍。在隋唐三百年左右中,羅漢像皆屬於其他佛教美術題材陪襯之地位,直到
具有锆英石(ZrSiO_4)结构的四方钒酸盐晶体,是三价镧系稀土激活离子的重要基质材料;而与之同晶型的四方正磷酸盐晶体,也有望成为这类激活离子的理想基质。在四方钒酸盐和磷酸盐晶体中,以LuVO_4和LuPO_4最适合用作Yb离子基质晶体。因此,研究四方结构LuVO_4和LuPO_4晶体中Yb离子的激光特性,具有重要的实际意义。本工作中,我们对Yb:LuVO_4和Yb:LuPO_4两种晶体的光谱学性
老里湾银铅锌矿床位于华北克拉通南缘崤山地区,是近年华北克拉通南缘崤山地区发现的首个大型银铅锌矿床。该矿床矿体主要产于老里湾花岗斑岩体内,部分产出在熊耳群围岩内,矿体同时受断裂构造控制。矿床地质研究表明,老里湾银铅锌成矿作用可分为热液期和表生期,其中热液期又可分为四个成矿阶段:石英—黄铁矿阶段、菱铁矿—多金属硫化物阶段、石英—多金属硫化物阶段和石英—重晶石—方解石阶段。LA-ICP-MS锆石U-Pb
酒精性肝损伤(Alcoholic liver injury,ALI)是由于长期大量饮酒(嗜酒)所致的肝脏相关疾病,这些疾病包括脂肪性肝炎、酒精性纤维化、肝硬化和肝细胞癌,在中国由于饮酒导致肝脏