基于生成对抗网络的文本生成图像算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:a306783805
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的不断发展,计算机视觉以及自然语言处理领域上的研究取得了巨大的进步,文本生成图像作为上述两个领域间的跨模态任务同样受到研究人员的青睐。文本生成图像是依据描述性文本生成其对应图像的任务,该任务的核心是确保生成图像真实自然并且与文本具有语义一致性,其中语义一致性尤为关键。生成对抗网络自提出以来在各个生成研究上得到应用,在文本生成图像研究上也同样不例外。目前该研究虽然通过使用生成对抗网络取得了一定的进展,但是依然存在图像真实性较低及语义关联程度有待提高的问题。因此,针对目前存在的问题,本文主要进行了如下的研究:1)为提高生成图像的真实性以及语义一致性,提出了交叉注意力机制及全局局部判别器生成对抗网络。网络中采用了交叉注意力机制,确保低像素图像质量以期提高生成图像真实性;为不同像素图像设计了全局及局部两种判别器,从而更好地判断图像是否具有语义一致性。在CUB200-2011以及Oxford-102两个数据集上的实验结果表明,该网络在提高图像的真实性以及语义一致性上具有较好的表现。2)为进一步提高生成图像的语义一致性,在第一部分工作基础上加入语义一致性鉴别模块。该模块主要由两部分构成:图像字幕网络以及Bert孪生神经网络。图像字幕网络用于产生与生成图像相对应的描述性文本,Bert孪生神经网络用于计算原文本及生成文本间相似性,该相似性为生成器添加额外约束。实验表明,该方法相较第一部分能够提升图像的语义一致性,并且在IS、FID评价指标上取得了进步。3)为继续提升第二部分网络的生成能力,在上一部分工作基础上对生成器进行修改,使用语义掩码模块代替原有上采样层。该模块在上采样过程中融合文本以及掩码信息,使图像具有更强的真实性以及语义一致性。实验结果表明,加入该模块后网络的生成能力进一步提升。4)基于上述方法,设计并实现了文本生成图像系统,为用户提供训练及测试模型服务。
其他文献
随着火星探索技术的发展,各国的漫游车陆续成功着陆火星,开启了对火星地表的探索。火星车成本昂贵,难以同时设置多个进行分布式探索,从而降低了信息收集的效率。为提高信息采集效率,可同时布置多个造价低的小型机器人进行探索任务。在探测过程中,机器人的环境感知很大程度上影响了探测任务完成的质量。小型机器人由于体积问题难以携带过多的传感器进行环境感知,同时其缺少足够的算力和存储能力去处理和储存复杂的传感器信息。
学位
由于历史、政治和经济条件方面的相似性,中国与坦桑尼亚的之间缔结了深厚的友好关系。通过变革,两国通过共同的社会主义认同和利益加深了彼此之间的联系。在20世纪60年代和70年代,中国成为坦桑尼亚最亲密的朋友,并在艰难的冷战期间建立了伙伴关系。中国和坦桑尼亚自后殖民时期以来一直保持着密切的外交关系。本文对两国自60年代以来不断演变的关系进行了详细的论述。文本考察了两国之间的经济关系及其在农业、卫生、教育
学位
学位
报纸
中国铁路枢纽城市发展研究郭予庆,霍得立,郭小敏铁路是我国运输体系的主干,它作为国民经济的先导和支柱行业,成为经济增长所依赖的基础结构和基础环境。铁路枢纽是铁路运输网的心脏,它对保障铁路运输网的畅通运行起着关键作用。在铁路枢纽的强大带动和刺激下,铁路十...
期刊
在需求可拆分的车辆路径问题(Split Delivery Vehicle Routing Problem,SDVRP)中,一个客户的需求可以由多辆车来满足,其目标是用同一车队以最小的总运输成本来满足所有客户的需求。其解空间远远大于经典的带容量约束的车辆路径问题。在本研究中,我们观察到一个等价关系,它将SDVRP的解空间划分为许多等价类,每个等价类可以由一个二维表形式的“路径表”和一个基于一系列树结
学位
抗生素传感器是指利用抗生素作用物质与信号输入-输出装置共同作用,实现对抗生素含量测量的传感器。抗生素的含量通常反映水文环境中细菌的耐药性增长水平。水文环境中过量抗生素的存在将导致细菌对生命体的生存产生日益严重的威胁。因此,水文环境中抗生素的检测对生命体生存预警以及疾病预防具有重要意义。近年来报道了多种检测水文环境中抗生素的方法,然而这些方法通常都伴随着各种缺陷,例如检出限差,线性检测范围小或需要特
学位
低碳氮比氨氮废水的低碳节能脱氮一直是污水处理领域研究的难点。面对传统脱氮工艺能耗高、碳源投加多、运行成本高的局限性,以亚硝化为核心的新型生物脱氮工艺应运而生。这些工艺将氨氮转化控制在亚硝化阶段,可降低曝气能耗,还能大幅减少温室气体排放。然而,如何实现高效且稳定的亚硝氮累积一直是新型生物脱氮工艺推广应用的难点。本研究研制出一种新型沸石悬浮填料,并与普通陶粒悬浮填料作对比,将其分别用于启动沸石悬浮填料
学位
财务会计报告是企业管理者与其他信息使用者沟通的桥梁,其中盈余信息作为反映企业会计期间经营成果的重要财务指标,受到各利益相关者的重点关注。但是普遍存在的盈余管理行为会造成盈余信息的失真,降低投资者对管理层披露信息的信任程度,阻碍社会资源的有效配置,不利于社会经济的健康发展。因此,企业盈余管理行为一直是会计研究关注的重点。企业可以通过操纵应计项目和操纵真实活动来进行盈余管理,但是会计准则规范程度的提升
学位
<正>民事检察类案监督,是指对基本事实、争议焦点、法律适用问题等方面具有相似性的某类民事案件进行检察监督。当前,检察机关民事检察类案监督工作仍存在缺乏具体工作规范指引、监督线索来源匮乏、办案人员精准把握研判能力不足、
期刊