基于生成对抗网络的图像修改方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:drg45tg54h4h
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
经过多年的发展,诞生于2014年的生成对抗网络已经成为了图像领域的主流算法之一。文本生成图像、图像文本标注等问题是计算机视觉和自然语言处理领域的热点问题,这两个问题都在研究文本和图像间的对应关系。受到这两个工作的启发,既然根据文本和图像间的对应关系能实现图像和文本的相互生成,那么也一定能根据这种对应关系实现图像的修改。随着互联网带宽和移动设备的飞速发展,图像修改的需求在人们的日常工作和生活中越来越高,但是常见的图像修改软件往往都有很高的操作门槛。因此,对图像修改方法进行深入研究,结合深度学习提出基于生成对抗网络的图像修改方法具有重大意义。基于上述背景,本论文围绕基于生成对抗网络的图像修改方法展开研究,提出了一种根据文本信息修改图像内容的方法,使生成图像和原始图像整体相似而局部不同。通过分析国内外生成对抗网络的研究现状和生成对抗网络在图像领域的应用,本文针对图像修改提出了新的方法,取得以下成果:(1)本论文提出一种基于生成对抗网络的语义控制图像修改方法。使用Skip-Thoughts模型对图像描述进行编码得到语义信息,在生成模型和判别模型中加入该语义信息,让生成模型能够根据语义信息来生成图像,并通过引入两个图像重建损失,使得生成图像和原始图像整体相似而局部不同,从而达到修改图像的目的。(2)本论文对提出的基于生成对抗网络的语义控制图像修改方法进行了改进。使用fastText模型从词层级对图像描述进行编码得到更细粒度的语义信息,再使用注意力机制将图像分为前景和背景,让生成模型和判别模型仅关注图像的前景,最终结果由生成图像和原始图像融合而成。在判别模型中引入局部判别器,在多尺度上显式判断生成图像和输入描述是否匹配,提高判别模型的判别能力再间接提高生成模型的生成能力。并使用联合训练和分阶段训练的方式解决没有预先标注的Attention map的情况下注意力模型训练难的问题。
其他文献
社会科学的根本功能是揭示规律,预测未来,为社会发展提供正确的导向和积极的动力。在社会处于深刻的变革和转型时期,社会科学的这种功能将愈加凸显,由此也就要求推动社会变革和转型的主体力量把发展社会科学提到更加突出的位置上来。否则,社会科学研究滞后或者混乱,有可能影响甚至干扰经济社会转型的顺利发展。从一般意义上说,我国社会科学事业在推动经济社会发展中承负着这样的功能:为探索经济社会发展规律提供理论指导,为党和政府的科学决策提供智力服务,为提高社会成员的素质提供精神食粮,为建立和谐协调的社会秩序提供舆论动力。这些功
目的:观察参芪扶正注射液联合放疗治疗局部晚期非小细胞肺癌的疗效。方法:参芪扶正注射液联合放疗为治疗组,单纯放疗为对照组。观察肿瘤的原发病灶、临床症状、生活质量、骨髓反
目的探讨SiRNA封闭stathmin基因表达对人宫颈癌细胞生长抑制作用。方法用Ambion公司pSilencer4.1CMV构建针对stathmin基因的SiRNA真核表达载体,以高表达stathmin基因的人宫颈癌
目的探讨宫颈癌的发病趋势和年轻宫颈癌的发病因素。方法对1995~1999年(前5年组)及2000—2004年(后5年组)收治的年轻宫颈癌88例的临床资料进行回顾性分析。结果年轻宫颈癌占同期宫
经外周静脉穿刺中心静脉置管(PICC)技术已有70年的历史。至20世纪80年代中期,美国和德国开发出超小口径、高生物相容性的柔软导管,大大减少了并发症的发生,使该技术在20世纪90年代
"三个代表"重要思想是马克思主义中国化的最新成果,是发展着的马克思主义,是我们党必须长期坚持的指导思想."三个代表"重要思想在邓小平理论的基础上,创造性地回答了建设什么
医院的研究生党支部作为党的最基层组织和医学研究生的优秀分子组织,必须不断加强自身建设,才能成为凝聚全体党员并为广大研究生所喜爱的组织。作者结合工作实际,从党委重视、支
沁水盆地南部主采区15#煤煤层气资源量大于3#煤层,而15#煤煤层气在排采过程中,由于产水量大,降压困难,没有气体产出或有极少气体产出。要实现15#煤层气规模化的开采,需要加强
每个人的内心都隐含着一个音乐梦想,MP3的出现让我们的梦想有了最佳载体。在今天,什么样外观的MP3才能打动我们呢,什么样的声音才可以亢盈我们的心灵呢?最近,魅族推出了一款全新的
马克思主义经济学对经济理论的贡献是多方面的:实现了政治经济学的伟大变革,揭示了资本主义生产方式发生、发展和必然灭亡的趋势,奠定了社会主义经济理论基础,阐明了商品经济条件