基于生成对抗网络的文本自动生成方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:JACK910680
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人工智能技术发展迅速,人工智能技术的应用领域也不断扩展,如智慧城市、自动驾驶、内容分发和人脸识别等。自然语言处理领域同样也存在着诸多人工智能技术可以落地的场景,文本的自动生成就是其中之一。作为一项基础性工作,本文所研究的文本生成模型可以作为一个模块未来应用于输入法、文本的特征提取、文本自动纠错等更多的任务上。目前文本生成任务在学术上的研究主要集中在深度学习模型上,但实际产品中大多使用的仍然是基于模板的文本生成方法。造成这种研究与应用间差异的主要原因在于基于深度学习的文本生成模型还不够完善,对目标文本的模拟不够细致。但是文本生成模板的总结需要大量的人工辅助和先验知识,且只针对特定场景,扩展性不强。因而,对基于深度学习的文本生成技术进行研究更具有现实意义。为突破文本生成的技术瓶颈,本文提出了更加高效的文本生成模型,并在构建的文本数据集上对其效果进行了实验。具体来说,本文的研究工作可以分为两个部分:一是对文本生成和图像生成两大领域进行了广泛调研,分析比对了单一网络与生成对抗网络框架的优劣。将生成对抗网络中的生成器网络与强化学习技术相结合构建了基础文本生成模型,解决了原始生成对抗网络模型无法处理离散型数据的问题。仿照机器翻译中的相关工作,设计了“相似度得分”指标来衡量文本生成的质量,并使用该指标将基础文本生成模型与传统的循环神经网络文本生成模型在超声检查报告数据集和长篇小说数据集上进行了实验对比。二是深入分析了基础文本生成模型的缺陷。针对蒙特卡洛搜索方法不足量采样导致实际回报函数具有较高的方差的问题和补全文本所需要的大量的采样运算导致模型收敛速度慢的问题,使用卷积神经网络对判别器网络进行了改进。同时,针对反馈信号不足导致强化学习训练的方向性不够明确的问题,采用将判别器网络与生成器网络共享文本特征提取层的方式进行了改进。在超声检查报告数据集和长篇小说数据集上,将改进后的文本生成模型与基础文本生成模型、循环神经网络文本生成模型以及相同领域下的Rank GAN文本生成模型进行了对比实验。在两个是数据集上,改进模型都在“相似度得分”这一指标上取得了较好的结果。
其他文献
在"宽进入,严监管"思想指导下,我国农村金融在近几年得到蓬勃发展,农村金融机构迅速增加,这给监管工作带来了极大的挑战。一个有效的金融风险控制体系应由四个系统构成:市场
含硫气藏在开发过程中,固态硫沉积将降低储层岩石孔隙度和渗透率,极大地破坏气井产能,此时常规气井产能计算模型已经不再适用,因此建立含硫气井产能预测模型十分重要。本文考
2000年.源于一个偶然的机会.方正开始关注国际市场。而方正电子正式宣布进军国际市场.则是在四年前的IPEX2002上。今年,又逢IPEX.但方正已不是当年蹒跚学步的孩童,经过四年的磨砺.它
迷走神经刺激(VNS)用于癫痫治疗已有十多年历史,但是其作用机制目前仍然不甚清楚。本文就VNS在抗癫痫过程中发挥免疫调节作用的可能途径及对相关细胞因子的作用予以综述。
该公司吸收国外玻纤机技术,自行开发设计的新型无梭织机。与进口机相比,价格便宜,效率高,可替代进口,节约外汇。与玻纤行业传统的有梭机比,又具有品种适应性广,生产效率高,噪
在4月9日召开的“2009年中国电子技术年会”与“第73届中国电子展暨2009年中国国际数码通信展”会上,公布了2008年度中国电子学会信息科学奖项目,并进行了颁奖仪式。共有9个电
目的应用纤维支气管镜评价常规双腔支气管导管插管定位的准确性。方法110例行肺癌手术患者在麻醉诱导完全后,行双腔支气管插管,采用听诊法调整导管位置,判断双腔管的就位情况
土地整理是随着我国社会经济的发展而出现的一门新兴学科。阐述了辽宁省的土地整理的发展现状,在不断的探索中取得的成绩和存在的问题。并对此提出了对策和措施。
应日本秋山国际株式会社代表取缔役社长胡雄卿先生的邀请,由中国印刷及设备器材工业协会组织了全国部分书刊、报纸和商业印刷企业的领导和专家共38人,分两批分别对日本秋山国际
急性肺损伤(acute lung injury,ALI)是指心源性以外的各种肺内外致病因素导致的急性进行性呼吸衰竭,其严重阶段称为急性呼吸窘迫综合征(adult respiratory distress syndrome,