语音识别作为目前国内外的热门研究领域,对人工智能时代最为关键的人机交互技术的发展有着十分重要的意义。近五十年,语音识别技术发展十分迅猛,尽管传统的语音识别技术已经趋于成熟,但是仍存在多方面的问题:如模型存在过拟合现象;特征学习效果不佳;在复杂环境下识别效果较差等。本文主要从数据集、模型特征提取能力、鲁棒性等三个方面进行优化和改进,进而提高识别效果。以基于深度神经网络的端到端语音识别模型作为基本框架,完成主要工作如下:（1）搭建基于卷积神经网络（Convolutional Neural Networks,CNN）-连接时序分类（Connectionist Temporal Classification,CTC）的端到端声学模型。利用CNN的局部连接和权值共享特性对语音特征图在时频上进行局部相关性建模,再通过其对特征的平移不变性,提高模型鲁棒性。通过将CTC与CNN相结合,简化语音识别流程,完成对输出序列和识别解码过程的优化,实验结果表明,CNN-CTC比CNN的预测错误率降低了1.35%。（2）对基于CNN-CTC的端到端声学模型进行改进。针对模型提取语音特征信息不足导致识别效果不够理想的问题,提出一种基于双分支卷积神经网络的声学模型。该模型通过多种方式提高模型性能。首先增加网络宽度、改变尺度空间,使模型可以在不同尺度空间下分别提取到音频的局部细节信息和整体频谱的轮廓信息。实验结果表明,在增加网络宽度、改变尺度空间后,模型识别效果优于CNN-CTC。为进一步提升模型性能。在卷积神经网络中加入残差块结构,保留原始语音信息,减轻梯度问题,加强不同层之间的特征信息传递;最后加入软阈值非线性转换层与注意力机制,对神经网络提取的特征进行合理筛选,删除冗余特征信息,保留重要特征,进而提高其特征学习能力。对比实验结果表明,最终改进后的模型与基线模型相比词错率下降4.27%。（3）针对模型出现的过拟合现象,通过一种特征图变换方法对语音信号的FBank特征图进行数据增强,增加训练数据同时缓解模型过拟合,提高系统的泛化性能。通过数据增强对比实验,发现该方法有效缓解了模型过拟合,且可在一定程度上提高识别效果。之后将本文最终改进模型与一些主流的研究方法进行对比实验及分析,验证了本文模型具有更好的识别效果和更强的抗噪声性。