【摘 要】
:
文本标题能够让用户在当今海量的互联网资源中快速获取有效信息,假使每条新闻都能够拥有一条简洁明了的标题,那将会大大节约读者的时间成本,提升阅读体验。有监督的统计机器
论文部分内容阅读
文本标题能够让用户在当今海量的互联网资源中快速获取有效信息,假使每条新闻都能够拥有一条简洁明了的标题,那将会大大节约读者的时间成本,提升阅读体验。有监督的统计机器学习方法被广泛应用于标题生成,但由于其对文本特征的质量依赖度太高,导致生成的标题往往缺乏准确性、连贯性,且算力与性能难以满足大数据时代的海量文本需求。而近年来迅速发展的深度学习技术,为解决上述问题提供了一种可能。本文实验数据采用短文本语料LCSTS以及长文本语料TTNews,并使用ROUGE评价指标对模型结果进行评估,以基于Attention的双向LSTM的模型作为基线,针对其存在的解码端与编码端联系不紧密且关注度不足的问题,提出以下改进方式。为了提高源文本和生成标题的强相关性,提出增加语义相似度的增强语义网络ESN(Enhanced Semantic Network)。模型通过计算编码端和解码端最后隐层状态的相似度,将该相似度作为额外损失项引入损失函数,用于最大化源文本与标题的语义关系。在LCSTS文本上实验结果表明,ESN模型与基线模型相比,收敛速度更快,实例化结果表明其更容易获取中心词。针对基线模型中的未登录词问题,提出融入解码端注意力的混合指针网络。通过融合解码端与源文本两部分语境向量,使模型有能力从附加词表及源文本两部分中选择生成的标题词。在两种语料上实验结果表明该混合指针网络可以有效解决未登录词问题,且明显提升了ROUGE指标。对于过度关注引发的重复问题,融入多注意力覆盖机制。通过回顾过去所有时间步编码端和解码端的注意力分布情况,共同影响当前时间步解码端注意力,并在训练过程中引入惩罚因子来增强全局把控能力,达到抑制重复片段的目的,实例化结果证明该机制进一步改善了文本质量。最后,为了防止生成标题存在的累计错误传播,采用混合学习方法,将评测指标ROUGE作为模型迭代的一环,设置全局奖励,允许ROUGE采用最大化离散梯度来优化学习结果。在LCSTS语料实例化结果表明标题在灵活性方面有明显提升。图40幅;表14个;参54篇。
其他文献
随着社会发展,陆地资源消耗殆尽,人类开始对海洋世界进行深入探索。水下机器人作为探索海洋世界的关键技术之一,在实际开发使用中,水下机器人的运动和探测能力成为海洋探索的
道路作为地图中的关键要素,无论在社会生活还是军事领域中都扮演着重要作用。由于道路形状的差异性、等级和种类的多样性、空间结构和关系的复杂性,导致其自动选取问题成为了
随着中国服务贸易的发展,服务外包一直是中国政府政策支持发展的重点产业,而医药外包作为服务外包的分支领域,得益于全球医药服务外包业务向亚太地区转移和中国有大量成本低廉的技术人才等,近一二十年来医药外包在中国成为迅速成长起来的新兴产业。中国政府一直重视创新的作用,大众创新不只是一个口号也应该转化为实实在在的行动,中国目前是仿制药大国,原研药、创新药数量很少,中国医药企业的创新水平还很弱,所以促进中国药
2019年对纺织业来说是充满机遇和挑战的一年,“中国制造2025”明确呼吁制造业向“智能生产”迈进。互联网和全球电商平台的迅速发展,纺织业全球产业链的不断完善,为纺织行业
强军是强国的应有之义,十九大报告中提出了“坚持走中国特色强军之路”。我国的部队每年都会服役大量新式武器装备,但更新后之前的武器弹药就会陆续淘汰,随之会产生大量的废
工业机器人在焊接、喷涂、码垛等领域广泛应用,已经成为高端制造业不可或缺的自动化设备。随着消费者对产品高品质、定制化需求的不断增长,对工业机器人的精度、关节集成度、
回旋管是基于电子回旋谐振受激辐射机理的快波微波器件,其能在毫米波段、亚毫米波段实现大功率输出。目前,频率在110GHz—170GHz的回旋管主要应用于磁约束热核聚变中的等离子体加热装置,长脉冲输出功率从千瓦级到兆瓦级,国际上已经有很多110GHz—170GHz高功率长脉冲回旋管的研究成果。传统的回旋管一般为点频工作,难以满足等离子体电子回旋共振加热中抑制磁流体不稳定的需求,所以频率调谐回旋管,也就
国家和农民之间的关系从古至今都是常常会被人们谈论的话题,要研究国家和农民之间的关系从乡镇基层政府去探讨是一个不错的选择,因为在日常的社会治理中,乡镇基层政府和农民
随着城市污水排放量与处理率的增长,污泥产量增多,而高含水率是影响污泥处理处置的关键因素。污泥电渗透脱水技术作为一种较新的脱水技术受到广泛关注。影响污泥电渗透脱水效率的因素有很多,但并未形成统一的结论。故探究影响电渗透脱水的因素,进一步提高电渗透脱水效率至关重要。本文通过自制实验装置,对污泥电渗透脱水实验的操作参数进行了优化;探究了小范围内的酸碱和无机盐调理对电渗透脱水的影响规律;提出了电极转换法并
为了可持续性地支持爆炸性增长的业务总量和多样化的业务需求,如何优化网络控制机制、提升网络资源利用率成为了重中之重。然而,日益增多的移动用户将会加剧无线业务的动态变