随着智能语音交互技术的蓬勃发展,非平行语料语音转换在学术界和工业界的研究热度越来越高,其中基于自编码器的端到端语音转换模型由于其较好的效果,逐渐成为该方向的主流模型。基于自编码器的端到端语音转换模型包含一个编码器和解码器,其中编码器负责将语义特征和源说话人特征解耦分开,解码器负责将语义特征与目标说话人特征相融合并生成转换语音。但目前主流的自编码器端到端语音转换模型由于无法平衡好解耦音色特征与保留语义信息的问题,从而导致语音转换效果仍然较差。为了解决这一问题,本文提出两种改进的基于自编码器的端到端语音转换模型来提升现有模型的语音转换效果。首先,提出一种基于多任务学习的矢量量化正则变分自编码器语音转换模型,通过多任务学习机制将矢量量化模块退化为正则化项,使其仅在训练中出现,从而在剥离音色信息的同时尽可能保留有用的语义信息,提升最终语音转换的效果。提出的模型与目前主流的语音转换模型进行了对比实验,验证了该模型可以大幅度地提升转换语音的音质,同时消融实验也验证了多任务学习机制的有效性。为了进一步提升语音转换的效果,本文继续提出一种基于注意力机制的码本索引自编码器语音转换模型,该模型完全摒弃使用矢量量化模块,取而代之的是使用多头注意力机制来构建编码器输出与码本矢量之间的索引关系,由于注意力机制是可微分的,因此整个模型可以端到端地进行训练优化,从而收敛结果更具有鲁棒性。主客观实验都验证了提出的模型可以进一步提升转换语音的音质。