基于3DCNN唇语特征的讲话人识别与认证技术研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:Amjf123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体生物特征如指纹、人脸和虹膜由于其方便性和安全性被广泛用于身份识别和认证领域,极大的方便了人们的生活。最新研究表明,嘴唇特征包含讲话人独特的嘴唇生理结构信息和讲话习惯信息,可以用于对讲话人进行身份识别和认证。此外,嘴唇特征可以作为其他生物特征的有效补充,比如跟人脸识别结合增强活体检测功能,和语音识别结合提高语音识别在噪音环境下的识别效果等,故而研究唇语特征的提取和运用具有重要的意义。基于嘴唇区域的讲话人识别与认证的难点在于唇语特征的提取,该特征既包含嘴唇外观的静态信息又包含讲话时嘴唇的形变特征的动态信息。传统方法如嘴唇轮廓提取、纹理特征提取和稀疏编码等方式虽然能够提取关于讲话人的身份特征信息,但是对讲话人在不同光照、不同角度和不同距离下的现实环境中的效果却不尽如人意。本文研究的主要内容是提取在复杂自然环境下抗干扰能力强的讲话人唇语特征。基于卷积神经网络在图像识别和视频分类等方面的优异表现,本文结合唇语视频序列的特点,提出了基于三维卷积神经网络的嘴唇特征提取模型。为了能够更好的提取讲话人唇语视频序列的时间和空间维度方面的信息,本文首先将整个较长的视频序列分为一系列短的子序列,然后基于三维卷积神经网络(3DCNN)设计特定的唇语特征提取网络提取讲话人的唇语特征。为了提高实验结果的可靠性,本文在自建的包含200个不同讲话人的唇语视频库上进行了一系列的实验,并和多种目前取得最好效果的方法进行比较和分析。实验结果表明,本文的方法在讲话人识别和认证上都优于传统方法,取得了99.18%的分类准确率和0.15%(HTER)的认证误差。在人为模拟光照和旋转的环境干扰情况下,本文的方法显示出了较好的鲁棒性。此外,该方法在包含近3000人的复杂自然场景数据集VoxCeleb2上也取得了不错的效果。
其他文献
目的:miRNA是一类小的非编码RNA,通过与靶标基因mRNA的3’UTR区部分碱基配对使得靶标基因翻译抑制或降解,从而起到调控靶标基因的作用。miR-155可调控巨噬细胞增殖,炎症反应,
鉴于高坝抗震安全问题是大坝设计的重中之重,且混凝土重力坝在强震作用下的动力响应受多种因素的影响,必须综合考虑才能使大坝的地震响应数值分析更加接近混凝土大坝的真实工作性态。本文基于现有混凝土重力坝-库水-地基整体系统地震响应分析体系,考虑了混凝土重力坝在地震作用下无限地基辐射阻尼效应、坝基不均匀地震动输入、坝体-库水动力相互作用等关键影响因素,重点研究了同时考虑拉、压损伤对大坝强震响应及破坏进程的影
科学技术的不断累积进步由量变产生质变,最终为产品的突破性创新提供了可能。与此同时,互联网的普及加速了产品创新。而在全球化的浪潮下,市场竞争亦越来越白热化,为保持自身
随着我国城市化进程的加速和人们对品质生活的追求,物业管理作为房地产的衍生产业发展迅猛。购物中心的物业管理有其特殊性,因开放性、动态性经营特点,对物业规范化管理水平和专业化服务质量提出更高的标准和要求。购物中心物业管理融合了传统的物业基础管理和商业专业化管理的特征,因其配套设备多、管理标准高、服务对象复杂,造成物业管理成本居高不下,严重影响物业管理的经济效益。作为劳动密集型的物业服务行业,伴随员工最
目的:观察外源性钙卫蛋白(S100A8/A9,Calprotectin)对口腔鳞癌(Oral Squamous Cell Carcinoma,OSCC)细胞迁移能力和侵袭能力的影响,并探求潜在的相关机制,为S100A8/A9蛋白在口腔鳞癌细胞侵袭转移相关机制研究提供实验依据。方法:(1)采用CCK 8法检测不同浓度的S100A8/A9蛋白对SCC-25及CAL-27细胞增殖能力的影响,确定合适浓度
“互联网+”作为一种信息化社会发展的新兴产物,在经济发展的进程当中扮演了越来越重要的角色,而扶贫工作一直以来都是我国民生治理的一大难关,因此在即将全面建成小康社会之际,解决好贫困问题就是工作的重中之重了。国家于2013年首次提出“精准扶贫”理念,因此在接下来稳步推行精准扶贫工作的过程当中,为顺应时代发展趋势,增强扶贫开发工作的顺利推进,关于精准扶贫的信息服务模式也就显得尤为重要。畅通无阻,跨界融合
近年来,随着汇率改革的推进,人民币双向波动逐渐增加,货币升值将如何影响国内价格。对于当局推进汇率改革和维护物价稳定具有重要的指导意义。本文以汇率与价格的关系为出发
目的:探讨自噬相关因子微管相关蛋白1轻链3 B(Microtubule associated protein 1 light chain 3 B,LC3 B)、Beclin1及p62在口腔扁平苔藓(Oral lichen planus,OLP)病损组织中的表达及意义。方法:1.OLP病损组织41例(20例非糜烂型,21例糜烂型)和正常口腔黏膜组织15例。采用免疫组织化学技术检测OLP病损组织中LC
S公司20年前进入中国,随之改变了中国人传统的饮食习惯,逐步培育出了咖啡市场。它是当之无愧的咖啡行业领军企业,旗下销售的产品除了咖啡饮料,还有各种衍生商品、食品等。然
随着能源需求的不断攀升,页岩气勘探开发越来越受到重视。与常规油气藏相比,页岩气储层的储集空间和渗流特性不同,泥页岩中裂缝之间的发育程度不同,裂缝中填充物质不同,这些差异导致裂缝识别预测工作难度加大。同时仅凭单一研究方法无法全面识别裂缝,需要结合多种方法对比研究,发挥各种方法的优势,综合预测研究得到较为准确的结果。本次研究依托“焦石坝区块页岩构造缝研究”项目,在充分认识研究区域地质背景的基础上,对研