音频分类问题一直是研究的热点和难点,解决这个难点的一个有效的方法就是卷积神经网络,但是大多数优秀的卷积神经网络都是应用于图像任务,将应用在图像任务中的模型直接迁移到音频分类任务中性能未能达到预期,因此针对音频数据的特点进行模型的设计成为提升音频分类性能的首要任务。使用更加成熟的图像领域中的模型是合理的,但是图像任务中的模型都是应用于图像任务或者是基于图像数据集训练且没有针对音频数据的特点设计的,因此存在一定的问题:1.音频数据包含了图像数据所没有的时间域和频率域,图像模式识别任务设计的模型无法正确地捕获音频数据的特征。2.在对语音和音频数据进行分离时,对于音频的频谱图所提取的特征不足导致分类性能不高。为了解决上述的问题,本文着重研究了基于卷积神经网络的音频分类算法,并对其进行了一些改进,主要的研究工作和成果如下:（1）针对图像任务的模型无法有效提取音频梅尔频谱图特征的问题,提出了基于卷积神经网络的时频域双向音频分类算法。在原始的音频分类算法中,由于研究者们使用了用于图像任务中的模型,图像任务中的模型是针对图像数据设计的,而音频数据与图像数据不同,从而导致了该模型无法有效地提取音频特征,造成了算法的性能瓶颈。为了克服这个问题,本算法设计了一个有监督的音色模块和一个有监督的时间模块,这两个模块分别关注音频梅尔频谱图的时间轴和频率轴,达到了充分提取音频特征的目的。另外,我们还添加了注意力模块,关注特征矩阵的信道信息。最终,我们计算该网络的损失并反馈到监督音色模块、监督时间模块和注意力模块中进行更新。我们将算法应用到音乐数据集GTZAN和Dortmund、舞蹈音乐数据集Ballroom、扩展的舞蹈音乐数据集ExtendBallroom、环境声音数据集UrbanSound8K上,实验结果表明了本算法可以有效地提取音频频谱图的特征,分类准确率较高。（2）针对仅使用频谱图的极大峰值轨迹特征无法有效表示频谱图特征的问题,提出了基于频谱图极大极小峰谷轨迹的音频分类算法。基于频谱图极大峰值轨迹的音频分类算法虽然有效的关注了音频由高峰回落的瞬间,但仅使用极大峰值轨迹无法有效地关注整个音频的走向,因此我们增加了频谱图的极小值谷值轨迹,将梅尔频谱图的极大峰值特征拓展为梅尔频谱图的极大极小峰谷特征。使用峰值轨迹算法计算出峰值轨迹后,在计算极大峰值轨迹的基础上,计算了极小峰谷轨迹,连接成为最终的特征矩阵,然后将特征矩阵输入模型得到分类结果。我们将该算法应用到GTZAN Music/Speech collection、Scheirer-Slaney Music-Speech Corpus、MUSAN 等语音音乐混合数据集上,实验结果表明本算法拥有较高的分类准确率。（3）在前面两个工作的基础上,我们针对音频识别和音乐分类问题,以我们提出的两个算法为核心,设计并实现了基于卷积神经网络的音频分类系统。该系统使用了上述算法中的最佳模型参数。在本系统中,用户可以上传本地音频到系统内存,然后系统对内存中的音频文件进行特征提取和归一化,得到特征矩阵。之后,用户调用系统的音频分类模块对音频进行分类。该系统首先调用基于频谱图极大极小峰谷轨迹的音频分类算法,来对音频进行音乐识别,识别出音频中的音乐文件;之后,系统调用基于卷积神经网络的时频域双向音频分类算法来对音乐文件进行流派分类。该系统结合了我们提出的两种音频分类算法,实现了对音频数据的分类功能。