基于结构因果模型的图像可控生成方法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:q513867791
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像生成的相关工作一直是计算机视觉领域的经典问题。随着近年来深度学习技术伴随着硬件革新的蓬勃发展,利用深度学习模型解决图像生成的各种问题一直是领域内的前沿热点,特别是对图像内容的属性可控生成技术探究更具有着广阔的应用前景。但是使用深度学习来探究属性可控生成的绝大多数方法都有着本质的局限性,最核心的问题是,大多数方法对损失函数与网络结构的改动,并没有考虑到对网络内部运行机理的探究,所以网络整体在外部看来仍然是黑盒的。这使得实验结果缺乏说服力,也难以针对性地根据内部原理对网络做出相应改进。少部分方法也尝试着在可解释性角度对网络进行设计改善,但无法给出具有完善因果结构支撑的,拥有直观简洁网络结构的因果探寻结果。考虑到上述工作的局限性,我们提出嵌套了结构化因果机制的因果矩阵生成对抗网络(CMGAN:A Generative Adversarial Network Embedded with Causal Matrix),其通过施加了无环约束的额外网络层来还原多属性标签中各个属性特征之间的因果邻接矩阵,从而得到对应的因果有向无环图。这样一来,网络便可通过自主学习属性之间的因果关系,并由此生成多属性标签,实现因果层面的属性特征分离。尤其具有创新性的是,CMGAN还可以对数据的生成过程添加干预机制,在属性特征层面回答因果理论中的“要是”问题。同时,还可以将标签映射为图像,完成整个多属性标签图像可控生成的流程。论文主要完成的工作如下:(1)针对神经网络缺少解释性的特点,在生成对抗网络中引入了因果矩阵。探寻了矩阵在网络结构中的合适位置,并通过施加无环约束等训练细节使得该矩阵可以得到训练数据(如多属性标签中的各个属性)之间的因果关系,并以因果图的方式展现。(2)在因果矩阵得到训练的基础之上,实现了因果机制中的干预操作,从而可以将特定值赋予目标属性,同时不影响其在因果关系中的父属性,实现属性之间的特征分离。并可进一步接受多属性标签,并将其转化为对应的图片,且不需要额外复杂的网络结构,实现完整的图像可控生成流程。(3)对CMGAN的各组成部分,采用不同的数据集、度量指标与对比方法,在不同的功能角度设计并实施了一系列综合性实验,验证了所提出方法的有效性。
其他文献
随着图像大数据的兴起,图像中存在的语义信息也越加复杂。单标签分类已不能准确表述图像内容,因此多标签分类开始受到越来越多的关注,且成功应用于图像搜索系统、医疗诊断等领域。为进一步提高多标签模型性能,本文提出基于图注意力表示和基于自适应图模块的两种多标签图像分类方法,主要贡献如下:(1)针对现有的多标签方法只能粗略定位目标语义区域,且无法充分挖掘语义区域之间存在的标签相关性的问题,本文提出了基于图注意
学位
树木三维模型对虚拟城市,城市三维场景重建、构建数字孪生体有重要意义。通过提取树木点云骨架构建得到树木的三维模型是一种重要的重建方式。树木原始点云数据一般都存在点云数量庞大,密度不均匀,存在噪声点,以及点云数据部分缺失的问题。大多数传统算法在提取树木点云数据骨架时,会出现提取出来的骨架拓扑与原始树木拓扑不一致,以及骨架断裂或者骨架的居中性不佳的情况,从而不能够准确提取出树木骨架。如何解决这些问题,并
学位
推荐系统作为缓解“信息过载”的有效途径,已具有大规模的应用。其中,基于共同群体偏好实现个性化推荐的协同过滤是应用最广泛的技术,但其输入数据的不平衡和损失函数的不公平,使其容易遭受流行度偏差问题。即相较于非流行的物品,推荐系统过于倾向推荐流行的物品,导致推荐系统中的马太效应。流行度偏差对推荐系统的各利益相关者都有不利影响,因此,如何缓解推荐系统中的流行度偏差是亟需解决的问题。之前大部分研究只从物品方
学位
公钥密码学是网络空间信任链建立的基石,但近年来量子计算的快速发展严重威胁了ECDSA、RSA等经典公钥密码算法的安全性。研究抵抗量子计算威胁的密码学前沿分支——后量子密码学日益受到重视。美国国家标准与技术研究院NIST于2016年启动后量子密码算法标准化工作,目前该标准化工作已进入第三轮,共入围6个基于多个理论的签名算法,根据美国白宫国家安全备忘录该标准化工作将于2024年完成。随着后量子密码标准
学位
近年来,随着产品数量和网站访问者数量的快速增长,推荐系统面临的巨大挑战是如何更准确地为用户建模,并以此向用户推荐更合适的产品。尤其是当这些网站拥有用户大量的社交信息时,尽可能地利用社交信息来实现这一目标一直是一个重要的研究课题。使用社交信息的关键是将这些用户间的关系更好地集成到用户建模中,以便推荐系统能够学习到更精确的用户特征表示,进一步产生更好的推荐结果。为了更好地利用用户社交信息进行推荐,本文
学位
当前计算广告中点击率预估与点击率转化研究主要面临样本选择偏差和数据稀疏性问题。因子分解机是目前主要用于实现大规模稀疏数据特征组合的热门算法,它最本质的特征是二阶特征交互。由于因子分解机能在较低复杂度下学习数据中隐藏的特征交互关系,当用于稀疏数据时,因子分解机比一般的多项式表达能力强。本文基于因子分解机模型进行了充分的扩展研究,并在计算广告领域的点击率预估和转化率估计的任务上进行了实验验证。本文主要
学位
新型冠状病毒肺炎(Corona Virus Disease 2019,COVID-19)在全球的大流行严重威胁着人民的生命健康,给各个国家的医疗资源带来了巨大的负担,极大地影响了社会生活的正常运行。疫情防控的精准性对社会的正常运行关系巨大,因此,准确地预测COVID-19的确诊人数和传播趋势十分重要,它可以对疫情防控策略的制定提供重要的依据。本文主要研究内容如下:(1)提出了一种基于混合策略改进的
学位
肺结节作为肺癌诊断的重要征象,在肺癌的早期筛查中占有重要地位。肺结节的轮廓信息可用于分析肺结节生长形态变化,记录患者病情的演变过程。肺结节良恶性诊断结果更是对早期肺癌检测具有重要意义。随着医疗技术的不断发展,CT图像不断应用于肺结节的临床分析中。但海量CT图像极大地加重了放射科医生的工作负担,长时间的阅片极易造成医生的漏诊和误诊。因此迫切需要研发高性能的肺部CT计算机辅助诊断系统辅助医生记录肺结节
学位
在工业4.0时代,工业制造与信息化的融合发展已经成为必然趋势,数控系统在日常工业生产中承担着越来越多的责任。但是信息化给数控系统带来的安全问题也越来越严重,如何建立数控系统的安全保护体系,是当今国内外数控领域研究的热点,也是本文的主要研究内容。在数控系统中,用户本身的越权操作、文本文件和工艺图纸文件等数控系统中机密性文件的泄漏以及外部访问者的攻击都会带来严重的后果。本文针对以上数控系统信息安全威胁
学位
随着经济社会快速发展,以人工智能为导向的智慧城市方兴未艾。人群计数研究作为人工智能领域的一个分支对智慧城市的推动是十分重要的。首先,随着世界人口的不断增长以及随之而来的城市化进程,人们在游行、音乐会和体育场等场合容易发生聚集现象,在这种情况下,人群计数对于公共安全和管控起着不可或缺的作用。其次,人群计数可以辅助构建人群场景中更高层次的任务,例如人群分析与跟踪,视频监控,异常检测,活动识别等。当前,
学位