【摘 要】
：
文本摘要生成是解决信息过载问题的有效方法之一,在新闻标题生成和知识科普领域有着广泛的应用。文本摘要生成是指从源文本中提取能准确代表原文内容的简短概述,主要分为抽取式摘要和生成式摘要,生成式摘要较抽取式摘要具有更高的灵活性,成为目前文本摘要生成的研究热点,但生成式摘要还存在问题,例如,未登录词、生成重复、暴露偏差等,导致生成的摘要并不理想。本文针对上述问题,基于序列到序列框架,利用指针生成网络和强化
论文部分内容阅读
文本摘要生成是解决信息过载问题的有效方法之一,在新闻标题生成和知识科普领域有着广泛的应用。文本摘要生成是指从源文本中提取能准确代表原文内容的简短概述,主要分为抽取式摘要和生成式摘要,生成式摘要较抽取式摘要具有更高的灵活性,成为目前文本摘要生成的研究热点,但生成式摘要还存在问题,例如,未登录词、生成重复、暴露偏差等,导致生成的摘要并不理想。本文针对上述问题,基于序列到序列框架,利用指针生成网络和强化学习研究生成式文本摘要生成,论文的主要工作如下:（1）设计了引入预训练改进指针生成网络的文本摘要生成Ro B-CPGNet-C模型。Ro B-CPGNet-C模型基于Basic PGN-ESPG基础模型设计。在文本编码阶段,在基础模型长短期记忆网络中引入Ro BERTa作为预训练模型生成上下文语义向量,使模型快速收敛、减少下游任务训练时间;在文本解码阶段,对指针生成网络进行了改进,保留生成指针,解决未登录词,引入概念指针,使语义向量生成更高层次的概念化词语;同时,加入覆盖机制解决生成重复问题,使用计划采样减少训练测试之间的偏差累积,使用策略梯度算法指导摘要生成减少曝光偏差,提高模型在ROUGE评分上的表现。实验结果表明,Ro B-CPGNet-C模型与Basic PGN-ESPG基础模型相比,在CNN/Daily Mail数据集上评价指标ROUGE-1、ROUGE-2和ROUGE-L分别提升了3.47、3.01和4.06,在DUC数据集上评价指标ROUGE-1、ROUGE-2和ROUGE-L分别提升了2.09、1.86和2.06。（2）设计了基于指针生成网络改进强化学习的文本摘要生成RCCSS-D3QPPO模型。RCCSS-D3QPPO模型基于Basic PGN-ESAC基础模型设计,编码器部分改进与Ro B-CPGNet-C相同,解码器部分对强化学习算法进行了改进,使用本文设计的强化学习算法D3QPPO代替基础模型中的Actor-Critic算法,以ROUGE评分为强化学习奖励反馈对向量解码生成摘要的过程进行指导,以提高模型在ROUGE评分上的表现并减小暴露偏差。本文设计的D3QPPO算法是在基于Actor-Critic框架的PPO算法的基础上加入双Q值学习,延迟策略更新,并采用异步多线程的方式进行训练,以减少训练过程中的累积误差,提高收敛程度。实验结果表明,RCCSS-D3QPPO模型与Basic PGN-ESAC基础模型相比,在CNN/Daily Mail数据集上评价指标ROUGE-1、ROUGE-2和ROUGE-L分别提升了3.67、3.53和2.53,在DUC数据集上的评价指标ROUGE-1、ROUGE-2和ROUGE-L分别提升了3.79、3.59和2.65。
其他文献
启发式搜索作为智能规划问题求解的重要范式之一,其性能主要取决于启发式估值函数的信息度和启发式搜索算法的效率。FF规划器的放宽规划图启发式、Fast-Downward规划器的因果图启发式、LAMA规划器的7)8)(8启发式等精心设计的领域无关启发式,都表现出了优异的求解性能。然而,不同的启发式具有不同的结构特征,代表了不同的设计策略。一方面,单一启发式并不能完美适用于所有规划问题。另一方面,预先设计
掺铥光纤激光器（Thulium-Doped Fiber Laser,TDFL）输出功率的持续增长以及应用范围的不断拓展,其输出激光的功率稳定性要求也越来越严格。TDFL长时间工作时会因为光子暗化效应（Photon Darkening Effect,PD）的影响而导致输出功率慢慢下降,稳定性变差,温度升高等情况,严重影响了稀土掺杂激光器的持续发展。本论文以目前的光子暗化研究为基础,对掺铥光纤激光器的
联合用药对复杂疾病的治疗具有非常重要的应用价值。通过药物组合治疗,可以提高临床治疗效果,减少药物的副作用,甚至可以帮助病人克服耐药性。近年来,联合疗法被研究人员应用到癌症治疗中,已经成为现代癌症治疗中不可或缺的一种治疗手段。在生物学中,研究人员凭借着先验的生物知识与临床经验,通过生物实验筛选方法来确定有效的药物组合。虽然传统的实验筛选方法已经有效地发现一批药物组合,但是随着大量新药被研发出来,药物
与传统的协作过滤和基于内容的推荐不同,序列推荐通过对用户与项目之间顺序行为的建模,很好地捕捉到用户与项目之间的交互以及随时间变化的用户偏好。会话是对序列的更细粒度的划分,会话推荐可以更好地捕获用户的短期兴趣;图神经网络能对非欧式数据进行向量化表示,在推荐系统中,可以很好地捕获用户项目之间的关系,两者越来越受到业界广泛关注。在研读大量相关文献后,发现目前基于会话的序列推荐仍然存在以下问题:一是关注于
序数回归（Ordinal Regression,OR）是指在具有有序类别数据的基础上建立分类模型。目前,序数回归模型得到了广泛的应用,但是现有的序数回归算法主要在单视角数据上建立分类器,面向多视角数据的序数回归算法还存在一定的空白。此外,由于采样误差、传输错误等原因,多视角数据可能存在不确定信息。如何利用有序数据中的多视角信息和处理有序数据中不确定信息,是本文亟待解决的问题。针对上述序数回归目前存
三维目标检测是自动驾驶车辆环境感知的关键技术之一,通过提供周围场景中丰富的三维信息,为自动驾驶的下一步规划决策提供重要依据。鉴于单目相机价格便宜、容易安装等特点,基于单目的三维目标检测在商业应用中受到广泛青睐。为此,本文重点针对车辆、行人及非机动车检测,研究基于单目的轻量化三维目标检测算法,并实现了算法在移动端嵌入式设备SE5 AI平台的部署。主要研究内容如下:（1）单目三维目标检测基准算法测试。
现今的药物研发工作所消耗的人力物力、时间和资金都变得越来越多,并且每年的申报名额也在逐年减少,药物研发工作变得越来越难以开展。得益于前人的科研工作经验的总结和大数据化的数据交流的发展,人们逐渐倾向于寻找一种成本低、效率高的方法应用于药物的研发初期,为现有药物提供高置信度区间的潜在适应症,这种技术被称为药物重定位。虽然目前已有不少科研人员提出了极具研究价值的预测模型,然而,在药物相似性和疾病相似性的
多标签学习（multi-label learning,MLL）是监督学习的一种,但与传统监督学习不同的是,在多标签数据中,一个示例往往与多个标签相关联。多标签学习中,一个对象往往可以通过多个方面来描述。例如,在网络图像检索中,一幅图像可以使用图像的视觉特征集或者图像周围文本的文本特征集来进行描述。在这些应用中,一个对象与多个视角相关联,并且每个视角都从不同的方面来描述同一对象。因此,如何利用多视角
中医智能处方推荐指利用人工智能技术,根据患者病历信息进行学习,对候选中药进行预测,以模拟医生开具处方的过程。近年来许多学者围绕中医处方推荐开展了相关研究,但目前领域内仍存在亟待解决的问题,如现有临床诊疗数据具有“一多一少”的特点、无法对临床表型中的“未登录词”形成表示、现有处方推荐方法性能较低、现有方法推荐结果的配伍合理性不强等。为解决上述问题,本文围绕中医处方推荐开展了以下三方面研究。第一,针对
资源分布情况复杂,资源指派涉及到较多的影响因素,合理划分空间以评估资源数量及利用资源,使得空间呈现出明显的多维特性,例如城市交通网络划分和物种集聚地划分等。为了在资源有限的情况下,根据服务对象的相关需求,高效利用资源,保证空间主体划分和客体资源利用的利益最大程度,本文主要研究多维空间中资源分配的指派问题,通过任务属性划分空间网络,避免资源分配和使用的效益因空间约束过度耦合而降低。合理分配相应的资源