【摘 要】
：
近年来,机器学习在文本生成任务中的应用已成为学界和业界共同关注的热点话题。传统研究将深度神经网络应用于文本生成任务时,大多仅基于前文来选择每个生成的新单词,并由此构建语言模型,但忽略了不同单词之间的相关性。有鉴于此,基于语料库的并发词的统计信息在选择后续单词时的价值应当得到关注,这有助于提高句子的流畅性和通顺性。为充分挖掘这些重要信息,本研究提出一种用于文本生成的graph softmax函数,最
论文部分内容阅读
近年来,机器学习在文本生成任务中的应用已成为学界和业界共同关注的热点话题。传统研究将深度神经网络应用于文本生成任务时,大多仅基于前文来选择每个生成的新单词,并由此构建语言模型,但忽略了不同单词之间的相关性。有鉴于此,基于语料库的并发词的统计信息在选择后续单词时的价值应当得到关注,这有助于提高句子的流畅性和通顺性。为充分挖掘这些重要信息,本研究提出一种用于文本生成的graph softmax函数,最终的文本生成结果将由语言模型和单词之间的图形关系共同决定。具体而言,本文使用图的总变分项来调整softmax函数,以便将单词间的并发关系合并到语言模型中,在此基础之上,graph softmax函数和基于Transformer模型的GPT2语言模型将共同承担起文本生成任务。实验结果表明,与传统模型相比,文本所提出的新模型不仅具有更好的生成效果,还可以方便测试人员区分不同模型生成的文本。
其他文献
随着化石能源大量使用,能源危机及温室效应不断加剧。因此,清洁、高效的新能源技术的开发和利用,对环境友好、可持续发展型社会的建立具有重大的现实意义。质子交换膜燃料电池（PEMFC）是一种能将燃料中的化学能直接转化成电能的能量转化装置,因其高效转化、环境友好、低温操作等优点,被誉为21世纪最具发展潜力的新能源技术。目前,为解决其阴极氧还原反应（ORR）动力学缓慢的问题,Pt/C催化剂大量应用于PEMF
伴随着信息技术的发展,大众消费音乐的方式发生变化,逐渐养成为数字音乐内容付费的习惯。然而中国数字音乐市场上缺少一个公开全面的版权信息检索数据库和体系化的定价标准,分散版权的内容分发渠道有限,如何完善数字音乐的运营管理来保护数字音乐版权,体现数字音乐版权价值是当前行业关注的重点。本文进行了以下主要工作:1)分析总结数字音乐运营管理存在缩短确权周期、公开用权过程和提高维权效率的需求,基于区块链设计与实
发展从低品位煤层气富集甲烷技术具有重要的工业和社会需求。吸附法因其节能高效的优点被认为是最具有潜力的从煤层气中吸附分离CH4/N2的技术,吸附材料是其分离技术的关键。本文主要围绕从低品位煤层气中分离CH4/N2这一工业需求,探究以绿色环保的合成方法制备出一系列高吸附量,高选择性的多孔碳材料,研究其对CH4/N2的吸附分离性能,并探索碳材料孔隙结构对CH4/N2吸附分离性能的影响规律,为制备高性能碳
离子液体（Ionic Liquids）是一种具有稳定、不易燃、可调节、易回收等优点的环境友好型“绿色溶剂”,其能够与金属产生某些特殊的作用,使得反应原理和历程可能与传统有机溶剂中大不相同,因此,离子液体参与的高效转化反应研究逐渐引起绿色合成化学家们的关注。碳-碳和碳-杂原子键的构建一直是有机合成领域研究的热点,如何绿色、高效地构建碳-碳和碳-杂原子键也一直是有机化学家们研究的前沿。金属钯的缺电子性
随着全球云计算领域的活跃创新和云计算技术的不断发展和成熟,越来越多企业的信息系统开始采用云计算模式部署,企业上云意识和能力不断增强。云计算体现在现实生活中是由大量服务器、存储、网络设备等物理设备组成的数据中心。但是,大多数云数据中心的资源利用率很低,这给云提供商带来了高昂的运营成本和巨大的能耗。预测云数据中心主机资源使用情况已成为提高云数据中心资源利用率、降低能耗和节约成本的重要手段之一。然而,由
定向增发,于2006年正式成为我国上市公司股权再融资的方式之一。相比于公开发行、配股等,其发行政策更宽松、发行程序更简单、发行成本更低,故而在短短十几年间,迅速占领了我国股权再融资市场。随着定向增发的成长,我国不断修订相关制度,但是依旧不够完善。同时我国上市公司股权结构相对集中,大股东相比于中小股东,可以直接参与公司重大决策,而且处于信息优势地位。因此,为大股东利用定向增发进行利益输送创造了可能。
光催化技术在处理有机废水方面具有广阔的发展前景,其能够将太阳能转化为化学能,持续、高效地降解有机物。光催化的关键在于构建高活性且稳定的光催化剂,半导体是光催化剂的核心成分,在众多半导体材料中,Bi2O3表现出突出的可见光吸收性能,被广泛应用于光催化降解有机物,但因其激发产生的光生电子-空穴对复合速度快,导致量子效率低,严重制约了Bi2O3光催化剂技术的进一步发展。非均相光芬顿技术是另外一种被广泛应
酱油作为一种传统发酵调味品,香气与滋味是其重要的品质指标。酱油中香气和滋味的物质基础及其之间的交互作用会影响消费者对其风味的感知,香气和滋味的物质基础已有大量研究,但香气-滋味交互作用如何影响酱油的风味型格尚未清晰,而这对传统酿造酱油产品的品质升级和开发具有重要意义。因此,本文利用高效液相色谱（HPLC）、气相色谱-质谱联用仪（GC-MS）结合衍生化法对中式和日式酱油中的非挥发性化合物进行分析,重
企业的投资活动是其最重要的财务活动之一,投资效率直接关系着企业的业绩表现以及未来的成长动力。随着经济的不断繁荣发展,当前我国的经济建设已经从高速发展阶段进入了高质量发展的阶段。企业作为经济建设的重要参与者,其投资效率的高低也直接影响着我国经济发展的水平。在这种大环境下,企业的投资效率问题研究则越来越热门。此外,虽然市场经济制度的建设也在紧跟时代步伐不断完善,但是其依然有其缺陷,如企业治理结构相关规
高压转变冷冻（High pressure shift freezing,HPSF）是指通过提升压力降低水的冻结点,使水在低温下仍能保持过冷液态,再通过突然释放压力获得巨大过冷度从而控制结晶过程的一种新型食品冷冻技术。在目前常规的技术条件下,用于超高压冷冻装置的承压腔体需由耐压厚实的金属材料制成,传统的研究思路难以对食品在高压低温条件下的状态及其在HPSF过程中的冰晶生成情况进行原位观测。为此本研究