语音转换即维持语义不变,对源说话人的语音进行转换,使其具有目标说话人的个性特征。语音转换涵盖信号处理、声学等学科,对语音信号转换的探索可促进如:语音编码、说话人识别等的革新。语音转换在文语合成系统、多媒体娱乐、语言翻译系统、医学领域的语音增强系统以及说话人伪装身份通信方面应用广泛。现有的绝大多数算法基于统计模型,其中高斯混合模型是主流。它们中很多需要源和目标说话人的足量平行语料,这带来了很多限制和问题。比如,训练的数据对两个说话人必须是相同的,训练的模型只能被应用到特定的一对组合,说话人的语料不充足,对齐时可能会出现的帧间错误匹配等等。本文在传统的非负矩阵分解语音转换基础上,提出一种利用聚类特征联合字典实现多对多说话人的稀疏非负矩阵分解语音转换算法。它将说话人语音的频谱特征分解成个性特征和语义相关两部分。首先利用语音分析模型自适应加权谱内插(STRAIGHT)提取语音的基频和短时谱参数,对短时谱求解其线性预测倒谱系数(LPCC)。其次,将N个说话人的适量平行语料对齐,通过高维均值聚类得到各自的字典。然后,将非负矩阵频谱参数近似为各自字典的线性组合与激励阵的乘积。转换语音频谱参数是目标语音联合字典与源语音激励阵优化后的组合。该算法可以在源和目标说话人语料不充足的情形下实现多对多的语音转换。实验结果显示,以上方法在VCC2016语料库上实验得到的转换语音的谱失真和语音质量均优于传统的非负矩阵分解。转换语音的平均谱失真度比传统算法降低了大约4.3%。