基于MASKED语言模型的新闻文本纠错研究

来源 :黑龙江科技大学 | 被引量 : 0次 | 上传用户:okyshishuo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息电子化的深入发展和自媒体群体的快速扩增,中文电子文本数量呈井喷式增长,伴随产生了大量的文本拼写错误和语法错误,极大降低了互联网文本信息质量,给电子文本的使用与传播带来消极影响,尤其是在新闻领域,对文本初稿的校对是一项体量巨大的工作,仅仅依靠人工校正成本极高,效率低下。中文文本纠错(Chinese text error correction)是自然语言处理领域中的经典任务,利用MASKED机制对文本序列进行定位纠正是文本纠错研究中的常用方法。通过使用深度学习模型提升计算机对中文错误的纠正精度可以辅助新闻工作者更高效的完成文本校正工作,文中针对中文文本纠错任务做了如下工作:(1)抓取公开新闻文稿数据,经过处理将原始数据转换成对齐可用的小体量数据集,着重研究模型在特定领域小样本数据集上的纠错效果。(2)针对原生BERT模型中缺乏全局检错能力的问题,文中通过使用双向GRU网络,构造具有检错网络和纠错网络的复合型网络BGSM-BERT,提高模型预测错误位置的精度,提升语言模型对文本检测的鲁棒性。该方法在SIGHAN和HIT News Set两个数据集上较原生BERT进行对比,检错准确率分别提升了2.8和8.2个百分点。(3)针对原生BERT中固定掩蔽符导致的掩码不灵活问题,文中提出了改进的KMCS-BERT网络,在预训练阶段使用混淆集代替原有的单一字符掩码,根据数据集特点对混淆集进行定制化处理,控制混淆集中语音错误文本和形构错误文本所占的比例,同时通过对语料进行语音和笔划建模,进一步提高模型在纠错功能上的灵活性与准确度。该方法在SIGHAN和HIT News Set两个数据集上较原生BERT进行对比,检错准确率分别提升了13.6和18.9个百分点。该论文有图45幅,表9个,参考文献59篇。
其他文献
在小学语文课外阅读拓展训练中,教师要充分落实“双减”政策精神,以学生为阅读学习的主体,通过转变教学思路,创新教学方法,以教材为依托拓展课外内容,引导学生积极主动地参与到阅读活动中来,多途径激发学生的阅读热情,全面提高学生的思维能力和阅读质量。本文认为,教师要以为学生减轻课业压力为纲,通过有效开展课外阅读拓展训练来不断提升小学生的语文阅读水平和能力。
近二十多年以来,随着全球化经济不断深入发展,汽车行业的经济地位也在工业体系中不断提升,我国汽车行业也经历着一个个改变历史的时刻。中国汽车在经过几十年漫长的发展期后,终于迎来了属于它的黄金爆发期,产销量和出口量不断提升,并持续多年领先全球,在全球汽车市场中有着不可替代的作用和地位。然而,与全球其他发展成熟的汽车行业相比,很多问题需要引起我国汽车行业的重视,如汽车产量虽大但品牌影响力不佳,倡导环境友好
<正>攻击是个体或者整体主观层面上有意识地对他人进行进攻,由此来对他人精神或物质层面造成侵害的反社会行为,主要包括语言攻击、人身攻击、侵犯他人财物。每个幼儿在成长过程中尤其在角色游戏中都会产生不同程度的攻击性行为,长期发展下去,会对幼儿的品性以及行为方式带来潜移默化的影响。因此,我们必须针对不同幼儿、
期刊
国家治理现代化的理念和模式在不同的社会历史语境下存在差异,反映出中西方国家治理在历史传统、社会发展、思想原则等现实基础上的不同。因此,应当注重对中国的国家治理在历史和实践中所体现出的性质、原则、前提、主体、目标、手段等问题进行科学研究和经验总结,进一步坚定制度自信、推动治理创新。国家治理现代化是社会主义现代性建构的重要组成部分和内在要求,应认识二者在历史任务、发展逻辑、制度理念等方面的内在融通性,
目的 观察沙利度胺治疗强直性脊柱炎的临床疗效及其安全性。方法 选取2018年7月—2020年7月孝感市第一人民医院收治的强直性脊柱炎患者60例,按照随机数字表法分为对照组与观察组,每组30例。对照组予以柳氮磺吡啶,观察组予以沙利度胺。2组均持续治疗1年。比较2组临床疗效,治疗前后红细胞沉降率、C反应蛋白、扩胸度、外周关节肿胀数、枕臂试验,临床症状(腰背痛、晨僵、下肢酸痛)缓解时间,治疗前后疼痛评分
利用EBSD、SEM、OM、热模拟试验机等对比研究了不同粉末粒度制备的一种新型镍基粉末高温合金(WZA3)在不同热压缩变形条件下的变形行为和组织差异性。结果表明:相比细粉制备的HIP-01样品而言,粗粉枝晶组织明显,成分偏析严重,其制备的HIP-02样品中残余粗大γ′较多。低温(1050、1080℃)高应变速率(1、0.1s-1)时,HIP-01样品峰值应力值高于HIP-02。热压缩后HIP-01
目的 探讨艾拉莫德联合塞来昔布治疗强直性脊柱炎的疗效。方法 选取2019年7月-2020年12月我院就诊的69例强直性脊柱炎患者作为研究对象,采用随机数字表法分为对照组34例和观察组35例。对照组给予塞来昔布联合柳氮磺胺吡啶片治疗,观察组给予塞来昔布联合艾拉莫德治疗,比较两组临床疗效、骨代谢指标[超氧化物歧化酶(SOD)、Ⅰ型胶原交联羧基末端肽(CTX-Ⅰ)及骨钙素(BGP)]、炎性因子[红细胞沉
<正>陕西地区历来就是文化、旅游大省,千年留存的浓郁历史韵味以及源远流长的文化积淀都代表着陕西地区丰富的物质文化遗产。近年来,随着陕西地区发展步伐急剧加快,人文特色不断被挖掘、发扬。例如以陕西著名作家陈忠实代表作《白鹿原》改编的电影、电视剧作品一经播出,对剧中真实表现具有陕西特色的居住、饮食等情节的内容颇受好评。在旅游住宿行业中,绝大多数标准化的度假型酒店,由于市场定位、行业标准的约束,对
期刊
乡村旅游不仅是全面推进乡村振兴的现实措施之一,也是作为旅游产业链的延伸,对农业经济与旅游经济发展有效融合提供了方向。乡村旅游在乡村振兴战略背景下,也有了新的发展机遇及挑战。文章以平凉市崆峒区为例,在研究崆峒区乡村旅游业发展现状和优势的基础上,通过实地调研发现崆峒区乡村旅游业发展存在的问题,并根据问题提出了针对性的建议及对策。
本文针对老字号品牌发展遇阻问题,结合消费升级等时代背景,探究怀旧情感在老字号品牌设计中的创新策略,寻求老字号品牌传承与发展的有效途径,帮助老字号品牌突破困境,重拾辉煌。了解怀旧情感的实质与意义,挖掘老字号怀旧资产与当下怀旧浪潮的联系,分析现下优秀的运用怀旧情感的老字号品牌设计案例,探析怀旧情感运用在其中的应用场景与方式,研究切实可行的品牌创新设计策略。现今在老字号品牌创新中善于利用好怀旧资产,与时