【摘 要】
:
唇语识别,又称唇读,指仅依靠说话者唇部运动图像序列,即可解码出对应的文本序列的技术,在安保监控、司法审判、个体身份认证等领域都有潜在的应用价值。由于协同发音现象以及个体差异性过大,传统的一些技术手段在解决唇读问题时遇到了或多或少的瓶颈。随着海量数据的爆炸式井喷和并行算力的大幅度提升,许多研究者转而引入深度学习技术解决唇语识别问题。然而,深度模型的巨额参数量和复杂的运算流程带来了高昂的时间成本和空间
论文部分内容阅读
唇语识别,又称唇读,指仅依靠说话者唇部运动图像序列,即可解码出对应的文本序列的技术,在安保监控、司法审判、个体身份认证等领域都有潜在的应用价值。由于协同发音现象以及个体差异性过大,传统的一些技术手段在解决唇读问题时遇到了或多或少的瓶颈。随着海量数据的爆炸式井喷和并行算力的大幅度提升,许多研究者转而引入深度学习技术解决唇语识别问题。然而,深度模型的巨额参数量和复杂的运算流程带来了高昂的时间成本和空间成本,在这个移动终端时代,难以被直接迁移到诸如智能手机一类的资源受限型设备中。因而,本文通过对当前基于深度学习的唇读模型和深度模型压缩与加速算法两部分的广泛调研,结合各自优缺点,从实时性出发,兼顾模型性能,创新性的将知识蒸馏算法引入到唇语识别领域,设计并实现了基于多种知识蒸馏方式的唇读模型压缩与加速系统。本文的主要工作及创新点包括:(1)本文首次将知识蒸馏方法迁移到唇读领域,在主要针对分类问题的标准知识蒸馏框架的基础上,创造性的融合序列标注过程中的逐时间步解码方式,提出逐时间步累加的蒸馏方式,并在自行录制的中文数据集上进行多种对比实验分析,验证了蒸馏方案的有效性;(2)本文借鉴集成学习与提升方法的核心思想,基于对于结构相似、功能相近的网络模型,如果整体效果最优,则大概率可认为其部分效果也最优的前提假设,设计并实现了基于多教师动态权重蒸馏的学生网络,避免了人工设计权重函数的主观性和盲从性;(3)针对教师模型中可能存在的信息过载问题,本文结合注意力机制,首次提出了基于层内注意力与层间注意力相互结合的知识蒸馏算法,使得学生模型聚焦对唇读任务更为关键的信息,具有一定抗信息过载能力,提高数据处理的效率和识别的准确性。最终,本文设计并实现了一个轻量级自动化唇读系统,并在自行录制的中文句子级别数据集上进行了仿真对比实验,性能效果进一步验证了知识蒸馏方法的有效性与可靠性。
其他文献
行政村是我国最基层的群众性自治组织,随着社会经济的不断改革发展,农村妇女的生产生活也随之发生巨大的变化,村级妇联工作是以村党支部联系妇女群众为宗旨的,村级妇联组织建设程度直接影响到农村基层民主建设。本文以汤原县137个行政村妇联为研究对象,通过对村级妇联建设基本情况进行调查分析,发现当前村级妇联建设存在着发展不平衡,缺少工作经费,工作人员发挥服务作用弱化,管理不规范等问题。本文从加强村级妇联组织政
本文以形态学与分子遗传学的角度研究了四个罗氏沼虾养殖群体,运用多元统计分析、通径分析、线粒体基因ND1测序对其进行分析,以期理清现有罗氏沼虾养殖群体的遗传背景,建立种
随着互联网技术的快速发展,智能手机成为人们进行社交、办公、娱乐的主要工具之一,其承载越来越多的用户隐私与个人数据。不法分子亦将智能手机作为攻击目标,Android作为主流的智能手机操作系统也受到了威胁,其中加密型勒索软件的攻击尤为严重。本文主要研究在早期检测恶意加密行为中诱饵的应用,实现了基于诱饵的Android加密型勒索软件的早期检测系统,为未ROOT的Android智能手机提供保护。具体工作内
在中国近代学术史上,梁启超留下了浓墨重彩的一笔,其研究涉猎政治、经济、地理、教育和宗教等各个方面,给后人留下了宝贵的思想财富。本文通过考察梁启超的社会主义观形成的
近年来,我国的交通运输事业飞速发展,交通运输系统也已日趋完善。桥梁作为路线规划中的关键节点在使用过程中受到车辆荷载作用和外界环境等多重因素影响,将会对桥梁结构产生一定程度的损伤,不可避免的引起结构承载能力下降。因此,对桥梁结构物进行经常性的、定期的养护维修、加固及技术改造能够有效保证桥梁结构良好工作状态、使桥梁在使用期间的安全性、适用性、耐久性得到保证。因此,对桥梁加固技术的适用性、有效性进行研究
目的:通过腺病毒载体上调离体培养的血管平滑肌细胞(vascular smooth muscle cells,VSMCs)和糖尿病大鼠颈动脉球囊损伤血管组织中miR-24的表达,探讨其在糖尿病血管损伤后内膜增生中的作用及其分子机制。方法:(1)腺病毒转染及葡萄糖刺激离体培养的VSMCs:将原代VSMCs随机分为4组,分别为NG组(5 mmol/L葡萄糖干预组)、HG组(30 mmol/L葡萄糖干预组
随着社会经济体制的改革与发展,商品经济的形式已经发生了改变,包装设计应该在视角和思路上具有对市场的分析能力和前瞻性。包装设计是体现技术与艺术相结合同时作用在商品经济上的直接方式,通过包装设计展现出来的商品特征以及信息的传达是市场热衷的宣传手段。我国的包装设计语言和形式也在不断的发生改变,为了契合时代与市场,践行商品经济的发展,包装不仅仅作为一种商业产品的形态出现,也是一种形式美在生活中应用的直观体
背景:口腔鳞癌是口腔中发病率最高的癌症。正常的口腔黏膜上皮细胞在机体内环境改变或者受到理化因素刺激后,部分细胞出现过度增殖,黏膜出现癌变,进而发展成口腔鳞癌。核转录因子(nuclear factorκB,NF-κB)在肿瘤细胞拮抗凋亡的过程中发挥着重要的作用,增加了癌细胞的永生化能力。人端粒酶逆转录酶(human telomerase reverse transcriptase,hTERT)是一个
目的:人巨细胞病毒(human cytomegalovirus,HCMV)是疱疹病毒β亚科的双链DNA病毒,人群感染率高达60%-90%,主要表现为无症状潜伏感染,但在新生儿及免疫缺陷患者中是重要的病原
习近平关于科技创新重要论述的产生,既面临严峻的挑战,又有历史性机遇,同时也是建设创新型国家的需要。其理论渊源主要是马克思主义科技创新思想、中国化的马克思主义科技创新思想以及中华优秀传统文化中的科技创新理念。习近平总书记在治国理政过程中构建起关于科技创新的理论体系,主要包括科技创新主体论、方向论、动力论、体制论和路径论。其中,科技创新主体论认为人才是进行科技创新的先决条件,必须大力推进人才建设并重点