基于深度学习的彩绘文物线稿提取与生成

来源 :西北大学 | 被引量 : 0次 | 上传用户:liongliong453
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
彩绘文物是宝贵的历史研究材料。线稿作为彩绘文物的重要组成,反映了文物图案的绘画结构,在文物修复和保护传承中具有重要作用。传统的线稿提取主要采用人工临摹的方式,不仅效率较低而且临摹准确度也因绘画水平不同有所差异。而基于图像处理的线稿提取方法可以高效且客观的提取线稿,具有广阔的应用前景。但是由于彩绘文物病害较多,图像背景复杂,现有方法提取效果还有较大的提升空间。近期深度学习在图像处理领域广受关注,取得了较传统特征提取等方法更好的效果。本文基于深度学习,从线稿提取与线稿生成两个角度,分别基于卷积神经网络以及基于生成对抗网络对计算机线稿提取与生成方法开展研究,以提高线稿提取效果。主要研究内容如下:(1)受边缘检测算法启发,提出一种基于CNN(Convolutional Neural Networks)的细节感知层次化彩绘文物线稿提取方法。该方法将线稿提取分成粗提取与细提取两个阶段。粗提取在迁移学习的框架下将基于流的高斯差分算法与双向级联网络结合,减轻了大型数据集对深度网络训练的要求,并利用先验知识引导网络关注并学习细节特征。细提取设计的MSU-Net(Multi-Scale U-Net)模型将网络的解码器多个中间层特征融合,有效去除病害噪声并细化线稿。实验表明,该方法不仅能够提取更丰富、完整的线稿,还能够处理较复杂的背景,在主观和客观指标上均有更优的结果。(2)受图像翻译思想的启发,提出一种基于GAN(Generative Adversarial Network)的梯度引导双支路彩绘文物线稿生成方法。该方法通过两个独立的GAN设计了线稿生成支路(Sketch Generation Branch,SGB)和梯度图像生成支路(Gradient-image Generation Branch,GGB)以学习不同且互补的特征。在此基础上设计了一个特征传输模块将SGB的上下文信息传输到GGB的中间级以补充,使得GGB的梯度特征更加连贯完整;另外又设计了一个融合模块实现从GGB到SGB的梯度引导,使生成的线稿更加关注形状和细节,并抑制噪声。实验表明,该方法较其他七种方法能够生成丰富且干净的高质量彩绘文物线稿图像。
其他文献
社会支配倾向反映了在一个有等级分层的群体中,个体对优越和支配地位的渴望程度,它影响着个人在社会中对他人的态度和行为。高社会支配者通常会表现出优越、支配、渴望比他人拥有更高的社会地位和权力,而低社会支配者则相反。但是大学生社会支配倾向和心理疾病之间的潜在关系研究不多。动物模型研究结果表明,形成一个支配-从属群体使得所有个体,尤其是从属动物产生了不可避免的社会应激反应和行为障碍,但对支配动物的影响及其
随着我国教育体制的改革,《普通高中数学课程标准(2017年版)》明确提出:数学教育承载着落实立德树人根本任务、发展素质教育的功能,高中数学课程面向的是全体学生,实现“人人都能获得良好的数学教育,不同的人在数学上得到不同的发展”。然而,每个班级总有一部分学生的数学学业成就普遍低于同年级的平均水平,数学学习困难,即使他们身处较好的学习环境,但自身在数学学习上的发展举步维艰,他们被称为“数困生”。因此,
壁画是我国文化遗产的重要组成部分。随着时间的流逝,受自然环境影响,古代壁画出现了多种多样的病害。病害标注是对壁画出现病害位置、大小的记录,是壁画状态调查和保护修复的基础,在保护文物中起着重要作用。颜料层脱落是壁画病害中较为典型的一种。目前,壁画的颜料层脱落病害标注主要通过人工标注或结合机器学习算法进行交互式标注,前者耗时耗力,后者准确度有待提高。同时,现有标记方法主要是基于人眼目视在一般数码相机采
文物体现了中华民族不同时期的发展与变化,是五千年以来人类劳动和智慧的结晶。但是由于风雨的侵蚀、地震的破坏、战争的损毁以及人类挖掘的损坏等因素,文物出现了不同程度的残缺。所以对文物进行数字化保护,能够在研究其历史价值和文化价值的同时,不再对其进行二次损坏。但是在数字化过程中,由于现有的基于扫描的和基于深度相机的数字化方法存在遮挡、人工误差、传感器分辨率限制等问题,文物会产生较大的残缺区域,所以对残缺
中国尤其陕西拥有丰富的古代绘画资源。这些古代绘画具有非常重要的艺术、科学和历史考古价值,但是它们现在生存状况十分堪忧,其中绝大部分绘画存在严重的病变、破损甚至消亡问题。破损的古代绘画严重影响了以绘画为代表的数字文化遗产鉴赏和传承效果。为了提高古代绘画数字化质量,本文将针对破损的低品质古代绘画图像,利用深度学习的理论与方法,研究对应的技术措施来重建高品质古代绘画图像。由于古代绘画图像结构复杂且样本数
习题预测任务是指利用学生历史答题数据预测学生未解答习题的正确性,它可以为学生呈现其知识掌握状态,方便学生查漏补缺;习题预测任务也可以帮助教师个性化教学,实现因材施教。本文将学生作答的习题分为“练习习题”与“考试习题”。“练习习题”是指学生平时学习过程中,为提高知识状态,自主练习的习题。“考试习题”是指在学期测验时,所有学生被要求在规定时间内完成考试所解答的习题。在学生自主学习过程中,由于“练习习题
在推动边疆民族地区高质量发展上闯出新路子在服务和融入新发展格局上展现新作为在推动绿色发展上迈出新步伐在巩固发展民族团结、社会稳定、边疆安宁上彰显新担当凝心聚力建设新时代中国特色社会主义壮美广西,是习近平总书记为新时代广西发展擘画的宏伟蓝图。我们把深刻领会“两个确立”的决定性意义切实转化为坚决做到“两个维护”的高度自觉,
期刊
鬼成像作为一种新型成像方式,利用了光场的二阶关联特性计算出目标图像。由于这一特性,与传统成像方式相比,它可以实现在雨雪雾霾等较差的光学环境中抗散射成像,且抗噪性强。因此,在一些特定场景下,鬼成像比传统成像更具优势。然而鬼成像普遍存在的问题是其成像质量与采样次数成正相关,高质量的成像效果意味着极大的时间成本,本文从原理出发,利用深度学习方法从两个方向优化了计算鬼成像系统的性能。首先,针对利用计算鬼成
人体姿态估计是研究定位图像或视频中人的关键点(关节点),并连接相邻关联关键点的技术。姿态多样、光照变化和环境遮挡等是影响人体姿态估计精度的主要因素。提高人体姿态估计质量在实践中有迫切的应用需要。本文重点围绕基于深度学习的复杂人体姿态估计问题展开研究。在深入研究现有基于深度学习的人体姿态估计方法的基础上,提出一个新的关键点关联约束的复杂人体姿态估计网络KACNet。该网络充分考虑了人体相邻关键点之间
自然语言处理技术诞生于上世纪50年代,随着时间的推移,先后经历了基于规则的方法、基于统计的方法以及近十五年来基于机器学习和深度学习方法的迭代更新,几年前伴随着BERT的呱呱坠地又掀起了一轮新的研究热潮。文本分类是自然语言处理中的一项重要任务,它的核心是从文本中抽取出能够体现文本特点的关键特征,寻找特征到类别之间的映射。近年来,另一种基于图结构数据的文本建模思想不断的发展壮大。与BERT不同,图神经