基于深度模糊卷积网络的嘴唇分割技术研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:boyanfang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着模式识别技术和计算机运算速度的快速发展,越来越多的深度学习技术被应用于各个领域。而基于深度学习的唇读技术也因其出色的识别性能受到了国内外学者的广泛关注。研究唇读的目的是利用嘴唇图像序列的视觉信息来补充语音等听觉信息,进而提高计算机系统对语言的理解能力。嘴唇图像分割有利于自动化提取嘴唇轮廓等信息,直接影响后续说话内容识别模块的性能。因此,实现精确的像素级嘴唇区域图像分割对唇读技术的应用具有很大的价值。现有大多数嘴唇分割方法在固定拍摄场景的实验室环境下一般能够取得较好的效果。但在光照、背景复杂多样的自然场景下,当说话人张嘴露出舌头、牙龈等与嘴唇颜色十分接近的口腔成分时,各种分割算法的性能对于此类拍摄图像都会有较为显著的下降。同时,传统算法计算复杂度较高,也无法满足移动端应用对于实时性的需求。针对上述问题,本文提出了一种基于模糊深度卷积神经网络的嘴唇图像分割技术,将深度卷积网络和模糊逻辑模块无缝融合,实现在各种困难场景下准确、鲁棒、高效的像素级嘴唇图像分割。卷积神经网络能够提供多层次的图像特征表达,为嘴唇分割提供充分的局部和全局信息;而模糊逻辑模块能够对嘴唇图像在拍摄、标注等环节产生的不确定性进行完善的建模,提升了分割算法的鲁棒性。此外,本文还设计了一种针对嘴唇图像分割的知识蒸馏技术,充分利用了大模型的监督信息来提升小模型的分割准确率,进而完成模型压缩,提升分割算法的实时性。最后,本文构建了一个自然场景下的嘴唇区域图像数据集,经过实验论证,对比现有的嘴唇图像分割算法,本文提出的方法在满足实时性的同时也达到了更高的准确率。
其他文献
对同一场景内物体间的交互关系建模对于视觉理解和运动行为建模有重要意义。在静态场景内,物体间具体明确的交互关系共同组建场景内抽象复杂的事件;在动态场景内,物体们交互协作,以此来避免碰撞或进行群体活动。本文基于图神经网络的信息传递算法框架建模同一场景内物体间的交互关系,针对静态场景下的视觉关系检测任务和动态场景下的运动轨迹预测任务设计算法,并进一步实验给出了交互关系建模的可视化和有效性分析。针对检测图
合成孔径雷达(Synthetic Aperture Radar,SAR)能够全天时全天候地稳定成像,因此在军事和民用领域起着不可替代的作用。然而,受SAR场景复杂性、目标多样性、SAR图像相干斑噪声以及SAR系统和观测平台等限制,SAR图像目标自动识别仍然是一项世界性难题。近些年来深度学习在光学图像识别领域取得了非凡的成就,相关技术被引入到SAR图像识别,并已经取得显著的成果,但现有的研究大多仅利
近年来随着深度卷积神经网络的不断发展,图像分类、目标检测、语义分割等领域都取得了突破性的进展。而与此同时,卷积神经网络所需的参数量与计算量也日益增大,使网络模型在智能手机或嵌入式平台等资源受限硬件上的部署成为了一项相当有挑战性的工作。因此,需要研究对现有卷积神经网络模型进行压缩的算法,减少模型的内存占用和计算量,从而使网络模型在实际部署硬件上能有更好的性能表现。本文对卷积神经网络的压缩和加速算法展
视频服务近些年来在互联网以及移动互联网的流量占比逐年增加,用户人数也呈现增长趋势。用户对视频服务需求的提升推动了新一代,高质量视频标准以及视频技术的产生与发展。超高清(Ultra High Definition,UHD)视频,特别是其中的高动态范围(High Dynamic Range,HDR)视频,是近些年来视频技术发展的重要方向之一。随着HDR视频显示技术,以及HDR视频传输技术的成熟,HDR
自主避障系统是移动机器人自主性的核心体现之一。提高非结构化环境下自主避障系统的安全性和可靠性是当前自主避障系统的重要研究需求。非结构化的环境中可通行区域的几何结构复杂,种类多样,区域边界不清晰,且环境状况不固定。传统的避障系统主要使用几何结构信息和低层次的视觉信息,缺少对语义信息的考虑,因而在非结构的环境下难以区分不同的可通行区域,诸如草地、自行车道、人行道等;并且,传统的避障系统没有衡量地形、语
下一代无线通信系统将会是超快速,超低延迟以及超可靠的。由于低密度奇偶校验(Low-Density Parity-Check,LDPC)码译码复杂度低,误码平层低,能够高速并行运算,因此在未来通信系统中将拥有巨大发展潜力和广阔前景。在高斯噪声下LDPC码的置信传播(Belief Propagation,BP)译码能达到接近香农极限的性能。和积(Sum-Product,SP)算法和由其简化的最小和(M
近年来,随着机器学习在分类、检测、推荐等多个领域取得显著成就,机器学习方法已经被广泛地应用于实际工业任务中,并取得了非常好的效果,创造了大量社会价值。然而,在真实场景中应用机器学习算法仍面临着非常多的问题。首先,目前的机器学习算法往往受到海量数据的驱动,但是随着整个社会对个人隐私保护意识的加强,对数据的收集、存储以及应用正受到越来越多的限制,这就为机器学习长久的发展与应用增加了阻碍。针对目前机器学
随着互联网及通信技术的发展,视频数据的产生越来越快捷,应用越来越普及。利用计算机辅助人们分析视频具有广泛的应用前景。行为识别作为视频分析课题中的一个重要子领域,相关研究工作具有很高的价值。神经网络技术的发展如火如荼,基于深度学习的行为识别算法已经成为该领域的主流研究方向。大部分主流数据集及网络结构都十分依赖视频数据中的空间信息,并不适用于细粒度的行为识别任务。细微差异动作识别有很多应用场景,如体操
随着线上零售的天花板效应显现,线下零售重新得到关注。线下零售以服务取得先天优势,而服务通过销售人员传递给顾客,因此提升销售人员的能力是目前企业管理实践的诉求。销售人员通过多年的经验积累,形成了独有的知识和技能,用以处理与顾客、同事与主管的关系,这些知识与技能构成了销售人员能力的核心。知识共享可以帮助销售人员共同掌握销售的知识与技能,有助于提升个人、团队乃至组织的竞争力。因此,有必要探索零售行业一线
图像的非真实感渲染是计算机图形学领域的一个重要研究方向,其具体的含义是指利用计算机来模拟各种视觉艺术的风格,从而绘制出带有艺术风格的图像。卡通风格也是一种图像艺术风格,伴随着近年来新媒体艺术的兴起和社交网络的流行,大众对于个性化卡通风格图像的需求日益增长,对于图像卡通风格渲染算法的研究具有重要的意义。图像卡通风格渲染是一项具有挑战性的图像非真实感渲染任务,其目的是将真实照片转换为卡通风格的非真实感