结合图像与文本的条件图像合成研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:gzlongzhijian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,深度学习已经成功应用在了图像、视频、文本以及语音处理等多个领域。与此同时,将深度学习应用于图像-文本结合、视频-语音结合等多模态结合场景的研究仍处于初始阶段。其中,针对图像和文本结合场景中条件图像合成的研究较少,已有研究仅包含基于自然语言文本描述进行图像编辑这一单一任务类型,且编辑效果并不理想。但这一研究在智能交互式图像处理等领域未来的应用前景巨大。因此,本文从结合图像与文本的条件图像合成研究的两个不同研究任务出发,分别设计了两个模型,旨在通过研究丰富这一领域的研究内容以及改进现有研究存在的不足、提升现有方法的实验效果。为了解决结合图像与文本的条件图像合成研究成果较少、任务类型单一等问题,本文首先创新性地提出了利用图像与自然语言文本描述进行部分图像合成的方法,并将这一任务定义为基于自然语言文本描述的部分图像合成研究。该研究的整体目标是,输入一张仅包含部分前景信息的图像以及一句真实图像的文本描述,实现对图像背景区域的合成,最终合成一张在视觉上完整且满足文本描述的图像。通过对基于自然语言文本描述生成图像以及图像修复等工作的调查研究,本文在现有工作基础上首次提出并实现了利用给定文本描述,为仅包含部分前景的图像合成合理背景的任务需求,丰富了结合图像与文本的条件图像合成领域的研究内容。其次,为了改进结合图像与文本的条件图像合成研究领域的现有研究成果,本文的第二个研究聚焦于基于自然语言文本描述的图像编辑研究任务。该研究的整体目标是,输入一张原始图像以及一句目标文本描述,输出一张经过编辑的图像,使得输出图像在整体上满足文本描述,同时保持原有图像中与文本描述无关的细节。针对现有研究中存在的编辑精度较低、对文本描述无关区域保持效果差等问题,本文通过引入基于注意力机制预训练的文本编码器、精心设计的基于注意力机制的解码单元以及在模型训练时加入的重构损失和深度注意多模态相似性模型损失函数,极大地提高了现有方法的编辑精度、改善了现有方法在图像编辑效果以及文本描述无关区域图像保持等方面的不足。本文针对两个不同研究任务分别开展了大量实验,并构建了多组对比实验。实现结果表明,在与其他方法的定性和定量对比上,本文设计的基于自然语言文本描述进行部分图像合成的模型以及基于自然语言文本描述进行图像编辑的模型在各自任务上均有很好的表现。
其他文献
随着科学技术的发展,微通道换热技术不仅进军了汽车空调、家用空调、空气能等行业,而且在航空航天、化学生物工程等运算性能要求较高的微电子领域也有巨大的发展前景。基于此
酮连氮化合物具有共轭双键(-C=N-N=C-),化学活性强能够发生多类反应,广泛应用于医药中间体、感光材料、可聚合单体、染料、航空燃料等众多工业领域。本文针对环丙基甲基酮和
随着移动多媒体服务的普及,移动终端应用日益丰富,移动用户所需的数据流量出现巨大增长。各种数据业务对网络质量的要求驱动着电信运营商加快优化网络性能,以满足承载大量数据流量业务的热点小区用户服务需求和容量需求。为了提高动态网络的优化效率和质量,准确高效地识别和预测网络中的潜在热点起到至关重要的作用,从而可以实现网络资源的及时调整与分配,减少网络拥塞的发生,保持网络平稳运行。因此,本文以流量热点为研究对
目的:报告一例依维莫司治疗p.Arg1138Ter结节性硬化症患者及文献回顾。方法:使用患者外周静脉血5ml作为样本检测TSC1及TSC2基因序列,寻找基因突变位点(委托上海桐树生物科技有
蒙古文自然语言处理是助推蒙古文信息化极为关键的一步。蒙古文命名实体识别任务为其中最基础的一部分。它的主要目的是从海量的蒙古文非结构化文本中识别出特定类别的名词。同时,它也是提升蒙古文信息检索、机器翻译、问答系统等下游任务性能的关键步骤。相较英文、中文等拥有充足语料的语言,蒙古文的语料库十分稀少、扩充速度十分缓慢,且由于蒙古文本身构词结构复杂,形态多变的黏着语特性,加大了命名实体识别的难度,制约了蒙
颗粒在涡流和旋转流场中运动的研究在自然界以及工业生产中都有着广泛的应用背景。同时,颗粒的选择性聚集也是含有颗粒相的两相流中一种很常见的现象。本文通过CFD-DEM方法对
自2012年全固态钙钛矿太阳能电池报道以来,经过短短的几年其光电转换效率从3.8%增长为23.7%,完全可以与商业化应用的硅电池相媲美。然而,目前大多数研究使用昂贵的空穴传输材
施工组织设计是开展工程项目管理工作的核心,采用系统的管理手段对整个工程项目进行合理的规划,安排好人工、材料和机械设备的相互协调,进行组织机构的设置,保证各项资源达到最优配置,使工程顺利完成,让企业取得良好的经济和社会效益。施工组织设计是整个工程项目的技术经济性文件,所以,一个完整有效的施工组织设计是保证项目成功的前提条件。装配式建筑采用预制构件工厂化生产,构件质量提高,材料损耗减少。机械化施工,现
基于对美国作家帕拉西奥(R.J.Palacio)的儿童小说《奇迹男孩》的翻译,本次翻译实践报告撰写完成。翻译实践报告中的研究文本是2012年2月由克诺夫青少年读物出版社出版的帕拉
当今,由于信息技术和大功率电子设备的飞速发展,现代社会中各种新颖的电子产品在人们的生活中发挥着越来越重要的作用。电磁辐射已经成为严重的环境污染问题,危害着人类健康