音乐风格和节拍识别及其在表演机器人上的应用

来源 :东华大学 | 被引量 : 0次 | 上传用户:zy19870912zy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技水平的日益提高,机器人的应用早已不再局限于工业生产或者家庭服务等领域,越来越多的表演机器人慢慢走进人们的视野。现有的大部分舞蹈表演机器人是通过嵌入由编舞者手动编排的舞蹈程序执行表演,缺少技术的创新性和舞蹈的灵活性。本文基于深度学习的方法,从风格和节拍两个方面对音乐识别进行研究,并将研究成果应用在实体表演机器人上,实现机器人能够根据给定的音乐,自动表演出适合音乐风格和节拍的舞蹈动作。本课题的研究成果主要包括:(1)提出了采用独立循环神经网络和散射变换相结合的音乐风格识别方法。首先简要分析了传统音频处理方法的相关特性,阐述了其适合的应用场景及在本任务场景下的不适用性。然后,从散射变换的原理出发,解释了在本任务上使用散射变换的优越性和合理性。接着,基于本课题的应用场景,对比分析了循环神经网络及其变体在该任务上的应用效果,结合实验表明,基于独立循环神经网络进行音乐风格识别可以获得比较好的表现,并解释了其应用在本任务的合理性。最终,本文提出了结合散射变换和独立循环神经网络两种策略的音乐风格识别方法,实验表明该方法一定程度上提高了音乐风格的识别的准确率。(2)提出一种结合音乐风格的自适应模型选择方法实现音乐节拍识别。在对比分析了音频信号短时傅里叶特征、梅尔特征以及功率谱特征及散射变换在音乐节拍识别任务中的效果的基础上,选用了梅尔频谱及功率谱特征应用于音乐节拍识别任务。为了提高节拍识别的准确率,本文根据音乐风格将乐曲分为三大类并依此对音乐节拍数据集再分类,然后训练得到多个音乐节拍识别模型,结合前期音乐风格识别的结果,通过自适应选择从多个节拍识别模型中选择一个最合适的模型,由此获得最适合待测歌曲的模型进行最终的节拍识别。实验结果表明,本文中所采用的自适应模型选择在节拍识别任务上具有一定的实用性。(3)提出智能搭建舞蹈动作库的方法并完成舞蹈表演。本文摒弃以往利用编舞软件编排舞蹈动作的做法,直接从舞蹈视频入手,结合姿态估计技术,提取了舞蹈演员姿态流,建立了具有多种风格的舞蹈动作库,在机器人硬件满足的基础上,增加了舞蹈表演的灵活性和美观性。最终实现了实物机器人根据音乐的风格和节拍从建立的舞蹈动作库中自动选择合适的动作进行表演的功能。
其他文献
目的:通过分析郑州大学第一附属医院收治的肾上腺节细胞神经瘤患者的临床资料,提高对肾上腺节细胞神经瘤的认识,探讨手术对其治疗的安全性和有效性,为今后的临床诊疗提供经验
罗素伐他汀,其化学名称为双-(3R,5s,6E)-[7-[4-(4-氟苯基)-6-异丙基-2-[甲基(甲磺酰基)氨基]-5-嘧啶基]-3,5-二羟基-6-庚烯酸]单钙盐,它是一种选择性HMG-CoA还原酶抑制剂,是
肺炎是世界各地儿童和老年人死亡的主要原因之一。全球超过15%的死亡是由肺炎引起的,其中包括5岁以下儿童。肺炎是一种细菌、病毒或真菌引起的肺部的感染,导致肺部出现炎症,
本文采用水热法制备氮掺杂石墨烯(NG),并通过原位聚合法合成不同质量比的氮掺杂石墨烯/聚吡咯复合材料(NG/PPy)。采用多种技术手段对其结构、形貌表征结果表明,PPy均匀的生长在NG
发展高新技术产业是一个地区产业结构优化、升级和经济高速、高效发展的关键。发展经济学认为由于"市场失灵"的存在,使政府在产业结构升级的过程中发挥着弥补市场不足的重要