基于情感条件下生成式对抗网络的音乐生成综合研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:wsndcs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,音乐无所不在,这使得音乐创作成为一个高需求的过程。为了创作新音乐,以作为电影,电视,剧院的背景音乐,娱乐业需要不断生产新颖的歌曲和旋律。音乐家为了提供如此大量的新颖音乐作品,需要高效的创作过程。此外,音乐不仅是一种职业,也是人们在现代社会中最受欢迎的爱好之一。音乐可以成为一种单独的消遣,但随着互联网元素的兴起(例如,即兴产生的伴奏或自动产生的背景音乐),音乐创作已经扎根于许多业余音乐家的日常活动中。如同在许多领域一样,有限的人力资源成为限制工作效率和成本的瓶颈。现代计算机技术使社会能够在相同条件下自动化完成各种任务。目前,音乐生成仍然是一个非常复杂的过程,无法通过基本的自动化算法来实现。如相关工作所示,一种合适的音乐生成方法是应用人工智能中的深度学习。在本文的工作中,我们结合了逐步发展的生成式对抗网络来生成音乐。我们进一步通过使生成过程成为有条件的方式来增强纯粹的音乐生成,使音乐情绪的输入成为生成过程中的参数。因此,我们生成的模型在该领域实现了新颖的功能。本文的工作包括:1.数据为了训练我们的C-Midi PGAN,我们创建了一个新的数据集,其中包含大约50000个音乐样本,每个样本持续10秒。通过将1000首MIDI格式的古典钢琴歌曲拆分为10秒子样本来收集这些数据。MIDI数据通过网络进行抓取。2.方法我们通过目前最新的设计成功创建了一个逐步改进的生成式对抗网络。该模型专注于生成MIDI数据,从而增强了可比性。3.高级方法我们将基本模型增强为附有条件的,从而创建了一个新颖的模型。为了合理地提供音乐情绪以作为条件,我们引入了一种以可扩展的算法标记数据集的方法。这样可以对生成的样本进行高度灵活的微调,以满足音乐生成的具体需求。4.应用系统我们完整的模型以SPA的形式在用户友好的Web环境中提供。该应用程序提供了融合本文方法的基本功能,并且有着从用户处收集有效数据以便将来进行评估的潜力。5.验证最后,我们通过客观和主观的指标评估我们的结果,获得FID分数为12.30,与最新技术水平相当。我们还进行了广泛的用户研究,从而使我们的模型在一些方面可与相关工作媲美,在其他方面优于相关工作。通过改进音乐生成的任务,本文工作进一步提高了生成最新神经网络的能力。同时,我们的C-MidiPGAN引入了通过心情条件产生音乐的新颖功能。此外,本文项目创建的数据集能对音乐生成领域的未来工作有所帮助。最后,我们的Web应用程序提供了一种有效的方式来收集数据和改进本文方法。
其他文献
学位
学位
学位
学位
学位
学位
学位
学位
学位
学位