基于端到端神经网络模型的印尼语语音合成研究

来源 :鲁宇 | 被引量 : 0次 | 上传用户:DDD1968
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,飞速发展的深度学习为语音合成领域开拓了新的研究方向,世界各国的学者都开始采用基于深度神经网络的端到端语音合成方法,并取得了令人惊叹的成果。基于深度神经网络的端到端语音合成模型展现出了绝对高于传统的统计参数合成方法的性能,端到端模型可以把输入的文本序列通过一系列神经网络直接转换为对应的语音频谱序列。在一些以英语、汉语等通用语为目标语言的端到端语音合成研究中,合成出的语音已经无限接近于人发出的自然语音。但印尼语是一种非通用语,电子语料库非常匮乏,导致印尼语语音合成研究相对于中文、英语等通用语要滞缓许多。本文从印尼语的文本特性出发,以Tacotron2为基线模型,实现了基于端到端神经网络模型的印尼语语音合成系统。在此基础上,着重围绕印尼语的低资源特性和Tacotron2模型的不足之处,探索改进方法。本文主要工作如下:(1)构建了一个印尼语语音数据库,并根据印尼语特点进行词序列到音素序列的转换,设计并实现了基于Tacotron2模型的印尼语端到端语音合成基线系统,同时分析了其存在的不足。(2)在基线模型的基础上,对模型超参数进行了优化修改,然后引入注意力约束的方法提升训练时数据的使用效率,并且使用了一个针对低资源语言的半监督训练方案,冻结编码器后用无文本表示的印尼语语音对模型的解码器进行预训练,使其在正式训练前就拥有一定的声学表示能力,以此减少模型训练时的语料需求。优化后的模型MOS评分达到了3.84,提升了合成语音的可懂度与自然度。(3)针对Tacotron2模型的解码器存在的曝光偏差问题和印尼语的低资源特性,本文利用英语语料预训练端到端语音合成模型,然后用印尼语语料对模型参数进行迁移学习。在此基础上,为了克服累积误差对合成长句的影响,本文提出了一种可调整概率的“交替训练”方法,进而研究最优的交替训练实施方案。经此方案训练的端到端印尼语语音合成模型MOS评分达到了3.95,可完整合成无失真的超长句,在有效减少了曝光偏差问题带来的累积误差,达到了预期效果。针对印尼语语音合成基线模型的不足之处,本文提出并实现了上述两种优化及改进方案,加快了模型训练的收敛速度,降低了训练模型所需的语音数据量,提升了合成语音的质量,在低资源前提下可合成出高质量的印尼语语音。
其他文献
明清时期云南府进入快速发展阶段,但灾害也进入一个高发期,洪涝、干旱、降雪、冰雹、地震、风灾等自然灾害频繁发生,具有明显的多样性、频发性、地域性、时段性、季节性、破坏性等特征。各种自然灾害对于人们的生命安全、个人财产、基础设施、粮食物价、政府财政、生态环境等方面产生诸多影响。而灾害之所以如此频繁又具有破坏性,究其原因,主要有自然原因与社会原因两个方面。自然原因主要是明清时期云南府区域内河流水系众多,
学位
新媒体时代多样化的传播手段和叙事方法,为合阳面花等非物质文化遗产的发展、传承和传播带来了新的活力。以合阳面花为代表的诸多优秀文化遗产长期处于发声少、存在感低的式微境地,给人以陈旧老派的刻板印象,急需转型和突破。短视频平台以其轻量传播、低入门槛、高关注度的优势成为新的文化传播风口,也为非遗文化的创造性转化和创新性传播打开了新的广阔天地。本选题以家乡陕西省渭南市合阳县的非遗面花文化为关注对象,以抖音、
学位
人地协调观作为中学地理的学科核心素养之一,包含“地对人的影响”“人对地的影响”和“人地和谐”三个要素。人地协调观的培养需要经过“感知人地协调观”“理解人地协调观”“运用人地协调观”的循环进阶。都江堰水利工程的修建背景、对自然环境的改造及对自然条件和规律的利用体现了人地协调观的三个要素。以都江堰水利工程为例,中学地理人地协调观核心素养培养途径包括长时间尺度下对人地协调观的感知、完整情境下对人地协调观
期刊
截至2021年底,我国常住人口城镇化率已增长至64.7%,而户籍人口城镇化率仅有46.7%,两者相差18个百分点。户籍城镇化率难以提高导致农民工市民化的进程受阻。尽管近年来中央不断加大力度推动农民工落户城市,但是有较大自主权的地方政府的“人才”偏好使得户籍制度改革成效大打折扣。在此背景下,本文以制度变迁和发展观念为理论框架,在梳理我国户籍制度演变历程的基础上,通过分析地方改革实践来展现我国户籍制度
学位
在古今中西杂糅的近代中国,在救亡图存、“强国强种”的时代召唤中,中国武术的许多拳种以现代化的变革方式肩负起时代之大任。其中,吴式太极拳南传过程中的发展策略具有相当的代表性,其大众化发展微观表征出以拳种的现代化变革服务于“强国强种”的实践路径。本研究面对现有研究多将武术现代化简单等同于体育化、体操化的现状,而以“何谓武术现代化主流”为问题导向,采用文献资料法、口述史料法、田野调查法和逻辑分析法等研究
学位
立德树人作为职业教育的根本任务,旅游业作为新兴发展的民生产业。因此,在中等职业学校旅游类的高星级饭店运营与管理专业中落实好立德树人根本任务也是非常重要的。《酒店人力资源管理》作为培育旅游类人才的专业基础课,在该门课程中融入进有利于立德树人的内容极其重要,从该门课程的教学设计着手极为关键。本文通过文献研究,梳理了国内外关于立德树人、教学设计、职业教育教学设计的有关内容并进行了概念界定及理论基础选取。
学位
二战结束,东南亚国家掀起了一系列民族解放运动。在英、法等殖民势力崩溃的同时,美国越来越深地卷入印度支那的独立斗争中,对越南的侵略逐步升级,与苏联在东南亚地区的角逐渐趋明朗,冷战对峙格局在这一地区形成。美苏两极格局基本左右了东南亚地区主义发展进程,很大程度上决定着地区各国的对外政策。为摆脱超级大国的控制,维护地区稳定和独立自主,东南亚国家尝试组建了多个地区合作组织,但都以失败告终。1967年,菲律宾
学位
随着人们对地热水需求量的日益剧增,不合理的开发利用致使地热水出现亚硝酸盐和氨氮含量升高的水质问题。论文以埋深600~1200m的开封市地热水为研究对象,对地热水水质及“三氮”含量变化进行分析。在35℃、达西流速为6.24cm/h下,开展常压、6MPa和9MPa条件下氨氮迁移转化的土柱模拟实验,探讨地热水中氨氮在高水压下的迁移转化规律。论文研究对于探索地热水中的亚硝酸盐和氨氮污染控制机理及可持续开发
学位
青绿山水的发展在绘画历史中有自己独特的绚烂轨迹。后世画家晋唐时期始,从展子虔的《游春图》到李思训、李昭道的青绿山水,都能给人视觉的盛宴,观者也颇能感受到作者精妙的构思和作者本身的心性。然而,后人总是在模仿先辈作品的设色以及程式,所以虽然可以模仿到形态色彩,却难得其中的“士气”。唐宋以后,文人画盛行,“笔墨”成为表达内在心府灵境的媒介。但是文人画笔墨中的“笔墨”二字,不仅指表达的方式或者工具,并且也
学位
目前国内艺术院校与艺术界大都以国、油、版、雕为主要画种,粉画虽然近几年在国内参与创作的人数有所增加,但依然有大量绘画专业的人群没有接触或听说过色粉这个画种,粉画在大多数人眼里还是仅仅局限于粉笔画、油画棒的简单认识,没有将它看作为一个独立画种来认识,个大美术类院校也没有粉画这个专业。粉画在西方有着如同油画一样古老而悠远的历史,色粉画的起步是旧石器时代岩洞中古老的壁画,而中国的色粉画是李超士1919年
学位