基于关联语义挖掘的文本生成图像算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:heigezi123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,单纯地从大量图像资源中搜索所需的图像已经无法满足人们的生活需求,如何根据人类的语言描述创造出适应特定需求的图像受到了广泛的关注。近年来,随着生成对抗网络的快速发展,文本生成图像任务取得了重大突破。然而,文本解析的困难以及图像和文本之间存在的语义鸿沟,导致文本生成图像仍然难以得到令人满意的效果。在文本生成图像任务中存在两个主要挑战,一个是视觉真实性,根据有限的文本描述很难生成具有丰富细节的图像;另一个是语义一致性,难以建立文本语义和视觉特征之间的一致性关系。本文针对上述问题进行了更加深入的研究,主要研究内容如下:(1)针对同一图像对应的不同句子生成图像之间存在视觉差异的问题,本文提出了一种基于注意力的多句子辅助文本生成图像算法。以往的方法在生成过程中都只关注于一个句子和图像对,忽略了句子和图像之间的一对多关系,使得模型无法学习到同一图像对应的多个句子之间的语义关联,进而导致语义相同的句子生成的图像之间存在较大视觉差异。因此,为了同时考虑一个图像和多个句子之间的语义关联,本文提出了一个单句生成-多句判别的生成判别模型,在生成阶段利用单个目标句子来生成不同分辨率的图像,以确保网络学习到目标句子中包含的特定语义。在判别阶段,使用多个不同的句子作为条件辅助判别,以保证目标句子生成的图像和多个语义相同的句子都保持语义一致,进而保证不同句子生成图像之间的语义一致性。同时,为了生成更完善的细节,本文提出了一个基于双重注意力机制的细节增强模块,进一步获得更细粒度的图像。通过在两个细粒度数据集Oxford-102和CUB上进行的实验证明了该方法的有效性。(2)为了进一步提高生成模型的性能,本文提出了一种渐进式负样本学习机制。负样本学习是加速算法收敛和提高模型性能的重要手段,以往大多数方法都是随机选取一幅图像作为负样本,但是这样选取的负样本过于简单,很难起到辅助训练的作用,因此本文探究了多种不同的基于检索的负样本选取机制。同时,在此基础上提出了一种新的渐进式负样本训练策略,将负样本划分成不同的困难等级,在训练中逐渐提升负样本的难度,以提高模型性能,进而获得更高质量的图像。通过在两个细粒度数据集Oxford-102和CUB上进行的实验证明了该方法的有效性。
其他文献
随着互联网的快速发展,在线知识社区也大量兴起。在线知识社区是基于互联网的在线虚拟社区,专门从事知识的寻找和共享。然而,由于用户专业水平的差异和垃圾信息的影响,社区中无人回答的问题数量与日俱增,直接影响社区的发展和用户体验。因此,在在线知识社区中寻找专家用户对知识社区发展,扩展用户服务具有重要的现实意义。本文介绍了在线知识社区中专家发现的研究背景和现状。目前,大多数现有的专家发现技术主要基于主题模型
氢键是一种独特的非共价作用力,具有一定的方向性和强度,氢键的形成有可重复性和高度可逆性,被用于解释很多生物、物理、化学和材料现象。密度泛函理论(DFT)在没有借助D3、D4色散校正或NL非局域校正以前对分子间相互作用不准确,DFT-D和DFT-NL方法如B3LYP-D3BJ,PBE0-D3BJ,ωB97X-V,DSD-BLYP-D3BJ等方法对分子间相互作用计算越来越精确;而强氢键体系通常伴随不同
资助是手段,育人是目的。目前,国家在高等教育阶段建立起国家奖学金、国家励志奖学金、国家助学金、国家助学贷款(包括校园地国家助学贷款和生源地信用助学贷款)、师范生免费教育、退役士兵教育资助、勤工助学、学费减免等多种形式有机结合的学生资助政策体系,从制度上保障“不让一个学生因家庭经济困难而失学”,有利于培养德智体美劳全面发展的社会主义建设者和接班人。本文采用文献研究法、问卷调查法和访谈法,通过对高校资
信赖域算法因其较强的全局收敛性等优点,在求解非线性优化问题时被广泛使用。近年来关于信赖域算法的研究以信赖域模型的构造及信赖域子问题的求解最为热门。二次模型因其简单的计算形式脱颖而出,成为应用最广泛的信赖域模型之一。在求解二次模型子问题的过程中,传统折线法与基于微分方程模型折线法展现出了高效、快捷的优势,为研究信赖域算法开拓出一条高效的路径。本文基于最优曲线的微分方程模型,分别在Hessian阵正定
无人机(unmanned aerial vehicle)是一种可重复使用的,机上无人类操作员的航空飞行器。随着无人机的各项技术逐渐成熟以及对多无人机系统的复杂通信需求的增加,学者提出了飞行自组网的概念。飞行自组网的基本思路是通过自动连接建立一个通信网络,无人机节点之间能够互相通信、交换数据。同时不完全依赖地面基站和卫星等基本通信设施。随着飞行自组网的应用在军用和民用领域的逐渐发展,对飞行自组网的接
接口电路是连接传感器与运算电路的过渡电路。为了获得和转化测量的湿度值,使之成为有用的电信号,就必须对传感器的接口电路进行研究。全数字式接口电路原理简单结构不复杂、静态电流较小功耗较低、集成度较高节省版图面积,在各类半导体产品中有着广泛的运用。本文使用Cadence Virtuoso 617软件,设计了一种基于tsmc 0.18μm标准CMOS工艺的电容式接口电路,根据国内外发展现状提出本文的设计指
随着移动互联网以及5G网络技术的发展,电子设备接入互联网的门槛逐渐降低,大量的设备得以接入计算机网络。然而随着大量设备产生的大量数据使得作为数据汇点的中心网络成为整
随着柔性电子器件在医疗、航空、卫星和国防等领域的广泛应用,单层二硫化钼因其极低的面外刚度和可调控的带隙特征可以完全克服制约柔性电子器件发展的两大瓶颈,被誉为新世纪引发纳智能电子领域革命性突破的重要材料。目前,单层二硫化钼的力学的研究已经取得一定成果,但是对二硫化钼失稳力学的研究相当有限,这极大的制约了二硫化钼在柔性电子器件领域的应用。本文基于理论分析和分子动力学模拟对单层二硫化钼失稳力学性质进行系
众创空间已经成为国家和地方政府工作的着力点,在国家政策的支持下,全国各地的众创空间如雨后春笋般的发展起来。但是众创空间数量在激增的同时,也出现了只求数量不求质量的
下肢外骨骼机器人作为目前热门研究技术之一,在增强人体运动能力、辅助下肢疾病患者康复训练等方面起着重要的作用。而如何合理地对下肢外骨骼运动轨迹实现规划与控制是解决