语音克隆是一种比较广泛的概念,诸如“语音风格迁移”、“语音转换”等都可以称为语音克隆技术。本文的语音克隆技术是从语音中提取声学特征,并以此合成指定内容的语音。语音克隆应用的领域十分广泛。例如最近日渐兴盛的虚拟主播行业。虚拟主播是指不用真人出镜,使用虚拟形象进行直播活动的主播。同时也能够在游戏配音、残障人士的复健治疗、手机的语音助手等领域大放异彩。目前现有的语音克隆方案依托于大量的数据集和人工对于韵律的调整,条件苛刻并且耗时耗力。同时中文高质量的开源语音数据较为匮乏,许多语音数据被科大讯飞等公司独占。为了解决这些问题,本文提出了基于深度学习的语音克隆技术。该方法区别于传统模型,采用了 3个模型联合建模,分别采用不同数据集,进行独立的训练。其可以使用目前的开源数据集并在低性能设备上实现良好的效果,并具有比较快的生成速度。本文的主要工作如下:（1）本文设计了一个语音克隆算法,由三个模块组成:encoder（编码器）模块将说话人的声音转换成speaker embedding（说话人特征）,提取出指定说话人的语音特征;synthesizer（合成器）模块将文本和编码器输出的speaker embedding转换成Mel-spectrogram（梅尔谱图）;vocoder（声码器）模块将Mel-spectrogram转换成waveform（声波）,根据梅尔谱图生成高质量、高自然度、清晰的语音。（2）encoder模块先对语音进行预处理,然后使用说话人分类,对输入的语音数据进行初步分类,把相同或相似说话人的语音分为一类以便提取语音特征,以此优化编码器模型使提取的语音特征更加准确。（3）synthesizer模块对显性变量例如基频轮廓和发音决策进行控制以避免文本与语音信息的纠缠,也对潜在变量例如矢量字典、文本和Mel-谱图之间的注意力模块进行控制,可以在数据集中并未包含情感训练数据的前提下,在训练过程中精准的控制音调和发音决策以生成更加自然地语音数据。（4）vocoder模块选用了基于WaveNet的改进模型。其不再注重于频谱包络的建模,使用数字信号处理的方法处理滤波器,使神经网络专注于使频谱平坦。另一方面,采用了多频带多时间的策略使语音质量得到保证的同时,大大降低了复杂度。（5）将本文语音克隆算法应用于工程实践中,设计了“虚拟主播的语音克隆系统”。为了证明本文技术的可靠性和实用性,采用主观和客观方法相结合的评价方式对生成的语音数据进行评价。通过对比分析原语音和本文克隆算法生成的克隆语音梅尔谱图的差异,和测评人员主观打分的结果,都证明了本文算法的合理性和有效性。