论文部分内容阅读
随着科技水平的日益提高,机器人的应用早已不再局限于工业生产或者家庭服务等领域,越来越多的表演机器人慢慢走进人们的视野。现有的大部分舞蹈表演机器人是通过嵌入由编舞者手动编排的舞蹈程序执行表演,缺少技术的创新性和舞蹈的灵活性。本文基于深度学习的方法,从风格和节拍两个方面对音乐识别进行研究,并将研究成果应用在实体表演机器人上,实现机器人能够根据给定的音乐,自动表演出适合音乐风格和节拍的舞蹈动作。本课题的研究成果主要包括:(1)提出了采用独立循环神经网络和散射变换相结合的音乐风格识别方法。首先简要分析了传统音频处理方法的相关特性,阐述了其适合的应用场景及在本任务场景下的不适用性。然后,从散射变换的原理出发,解释了在本任务上使用散射变换的优越性和合理性。接着,基于本课题的应用场景,对比分析了循环神经网络及其变体在该任务上的应用效果,结合实验表明,基于独立循环神经网络进行音乐风格识别可以获得比较好的表现,并解释了其应用在本任务的合理性。最终,本文提出了结合散射变换和独立循环神经网络两种策略的音乐风格识别方法,实验表明该方法一定程度上提高了音乐风格的识别的准确率。(2)提出一种结合音乐风格的自适应模型选择方法实现音乐节拍识别。在对比分析了音频信号短时傅里叶特征、梅尔特征以及功率谱特征及散射变换在音乐节拍识别任务中的效果的基础上,选用了梅尔频谱及功率谱特征应用于音乐节拍识别任务。为了提高节拍识别的准确率,本文根据音乐风格将乐曲分为三大类并依此对音乐节拍数据集再分类,然后训练得到多个音乐节拍识别模型,结合前期音乐风格识别的结果,通过自适应选择从多个节拍识别模型中选择一个最合适的模型,由此获得最适合待测歌曲的模型进行最终的节拍识别。实验结果表明,本文中所采用的自适应模型选择在节拍识别任务上具有一定的实用性。(3)提出智能搭建舞蹈动作库的方法并完成舞蹈表演。本文摒弃以往利用编舞软件编排舞蹈动作的做法,直接从舞蹈视频入手,结合姿态估计技术,提取了舞蹈演员姿态流,建立了具有多种风格的舞蹈动作库,在机器人硬件满足的基础上,增加了舞蹈表演的灵活性和美观性。最终实现了实物机器人根据音乐的风格和节拍从建立的舞蹈动作库中自动选择合适的动作进行表演的功能。