基于生成对抗网络的文本到图像生成技术研究

来源 :东北石油大学 | 被引量 : 0次 | 上传用户:lfq_1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本生成图像研究是自然语言处理和计算机视觉的交叉研究内容,该任务要求计算机能够在理解输入文本语义的基础上,生成与文本语义相一致的图像。传统的文本生成图像方法变分自编码器生成的图像模糊,且生成的图像不能够完整地表达文本语义。为了解决传统方法所产生的问题,本文采用生成对抗网络实现文本到图像的合成,尽管在此前已经有研究者利用生成网络生成了符合文本语义的图像,但是在图像的多样性和清晰度上仍然不能够满足实际应用需求。为进一步提升文本和图像的语义相关性和图像的质量,本文在总结现有方法的基础上,提出了两种基于生成对抗网络的文本生成图像算法。(1)基于变尺度金字塔注意力生成对抗网络的文本生成图像算法。由于多阶段生成模型中高分辨率图像质量好坏取决于低分辨率图像的质量,为此,该算法致力于提升初始图像质量。为深度挖掘初始图像的文本表达能力,促进图像的生成,设计了变尺度金字塔注意力模块,该模块提取初始图像不同尺度的特征,通过注意力方式高效地利用特征通道间的有用信息。此外,为增强细化网络特征提取能力,提出残差密集特征提取模块,通过密集连接和残差连接的方式充分利用各个层之间的特征,进行更深程度的信息交互,细化初始图像,提升高分辨率图像质量。通过在CUB和COCO数据集的实验表明,该算法与近几年的模型相比表现出优越的性能。(2)基于跨域特征融合生成对抗网络的文本生成图像算法。该算法采用多阶段的生成对抗网络作为算法的主体框架,将图像从低分辨率提升至高分辨率。为了提升生成的图像和文本描述之间语义相关性,设计了特征融合增强响应模块,将低分辨率下的初始图像的特征和词级向量特征进行深度融合,使图像能够正确地表达出句子语义的基础上,还能够精确地表达出单词级语义。同时,为了使图像中的目标物体完整,纹理结构丰富,设计了多分支残差模块,该模块利用简单的结构代替了多个残差模块,充分提取图像的纹理特征,使得图像更真实。通过在CUB和COCO数据集上的实验结果表明,该算法在初始分数和精度分数指标上比先前模型性能提升至少1.5%以上。上述两种算法的提出,分别从提升初始图像质量和改善文本和图像的语义对应关系两个不同的角度提升图像的质量,成功地合成了与文本语义相一致的视觉图像。为推进后续的文本生成图像任务的研究提供参考。
其他文献
激光自混合干涉技术因为具有高精度、易准直、结构紧凑、非接触等优点,被广泛应用于工业、生物医学、国防军事等领域中进行距离、位移、速度等物理量的测量。无论大型测量物体还是细小的微结构物体均可以采用激光自混合干涉技术得到运动信息。在现代发展中,生物领域的细胞检测也逐渐受到广大研究者的关注,通过对活性微生物的运动信息进行分析可以得知细胞自身活性情况以及能够判断细胞自身是否发生病变等因素,为了研究一种可以灵
学位
我国已在地级及以上城市全面启动垃圾分类工作,在此背景下,园林绿化废弃物单独分类和资源化处理成为必然的选择。梳理了我国关于园林绿化废弃物分类和处理的相关政策,介绍了北京和上海的园林绿化废弃物分类和处理的实践,为其他城市开展园林绿化废弃物分类和处理提供了借鉴,并提出了园林绿化废弃物分类和处理的发展建议,对推动园林绿化废弃物的资源化利用有积极意义。
期刊
管道在运输行业中发挥着不可替代的作用,在石油、天然气等的运输上有独特的优势。自然环境对管道造成的腐蚀及管道的老化等会导致管道泄漏,如果没有采取有效措施,泄漏的资源不仅产生重大的经济影响,而且会造成严重的环境污染。泄漏检测技术可降低管道泄漏对我们的影响。实验室采集的天然气管道信号夹杂着大量的噪声,容易导致误报、漏报等情况的发生。为提高管道泄漏检测的精度,本文设计了一套集管道信号预处理、特征提取、工况
学位
<正>输血常见于临床患者的治疗,如何提高患者的输血治疗效果与安全性是输血治疗研究的重点。本文评价不规则抗体筛查对临床输血的安全效果,报告如下。1资料与方法1.1临床资料选取2020年1—6月我院输全血治疗患者120例为对照组,选取2020年7—12月我院输全血治疗患者120例为观察组。患者神志清楚,知情同意,病历资料完整,本研究经伦理委员会批准。排除血液疾病,肝肾功能障碍及丧失配合能力者。对照组:
期刊
在世界各国军队的强杀伤性武器装备中,数量最多的是火炮装备,其使用次数最频繁。在近现代战争中,火炮为获得战争胜利发挥了巨大的作用,但火炮连续发射后带来的炮膛清洗问题一直没有得到有效解决。传统的清洗方式清洗效果差,清洗时间长,已经不能满足现代化战争的需求,急需一种高效、便携、适应性强的设备来完成炮膛清洗的工作。在前人设计的便携式超声波炮膛清洗机器人的基础上,本文主要针对其中的超声波清洗模块进行研究,从
学位
近年来高新技术装备不断涌现,提高装备作业精度的振动控制技术受到众多学者们的关注。装备在工作中受环境影响会产生难以避免的扰动,如果这些扰动通过机械结构传递到装备中的某敏感仪器上,可能会降低仪器的工作稳定性及可靠性,所以需要采取隔振措施将其减小到允许的范围之内。而传统的被动隔振越来越难以满足隔振的要求,为此本文提出一种将被动隔振与主动隔振结合的主被动混合隔振系统,以实现对振动的有效控制。本文提出的主被
学位
激光自混合干涉测量作为一种非接触式的光学测量技术凭借其结构简单、易准直、精度高和测量误差小等优点被广泛应用于众多测量领域。近几年,研究者们提出了很多基于激光自混合干涉的位移测量方法,但是激光光源对外界环境变化敏感,当自混合干涉发生时,光源的波长会产生偏移,导致测量误差增大。在光栅干涉测量技术中,测量基准由激光的波长转换为了光栅的栅距,不仅降低了对光源稳定性的要求,也降低了由于激光波长波动而产生的测
学位
近些年来,越来越多的研究者们开始将目光投向为低功耗的电子产品供能的相关研究中,其中压电俘能技术作为一种新兴技术,由于其结构简单且环境适应性更好,受到了广泛的关注与研究。而振动能作为环境中广泛存在的能量,已经逐渐成为压电俘能技术主要的能量来源。而现如今,在一些城市的公路周边,安装有许多监测仪器,但是受城市电网布置的影响,许多仪器只能安装在供电设备附近,严重限制了其使用范围。本文即是设计一款基于非线性
学位
随着科学技术的发展,超精密驱动技术已经在生物体精细操控系统、显微装配系统、晶圆检测系统等领域得到了广泛应用。在这些系统中,多自由度精密调姿平台和高精度视觉反馈装置都是必不可少的,多自由度精密调姿平台用于调整操控对象的位姿,高精度视觉反馈装置用于成像设备自动对焦并反馈操控对象的位姿信息。然而,现有的多自由度调姿平台难以实现大行程范围内的平面三自由度运动,此外,目前的对焦系统主要采用步进电机、电磁电机
学位
近年来,随着机器人技术的快速发展,具有大运动范围、微纳米级定位能力的小型移动机器人在生命科学、智能制造、智能检测、光学仪器等领域获得越来越多的关注和需求。压电机器人利用压电致动技术进行工作,具有输出力大、响应速度快、不受电磁干扰、易于实现纳米级分辨力等特点,在这些领域有着极大的应用潜力。相关领域的快速发展要求压电机器人实现兼顾大行程、纳米级定位能力、多自由度、稳定运动步态并具有紧凑结构等特性,而现
学位