基于多模态融合的家庭音乐相册自动生成研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:luo000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电子科技与大数据的快速发展,音乐相册自动生成服务越来越成为人们日常生活的基础应用。尤其是近年来海量在线音乐与在线图像涌现在互联网上,虽然极大的提高了用户的选择空间,但如何能使用户在享受音乐的同时配以与音乐情感相同的相册图片也成为目前面临的关键问题。为了更好的实现音乐相册自动生成并增强用户体验,本文提出了基于多模态融合的家庭音乐相册的自动生成研究。本文根据Thayer的二维情感模型[43]和MIREX的情感分类标准[69],首先提取音乐和图像的特征。而不同于以往的基于文件级别的音乐特征表示方法,本文使用了音乐乐句即句子级别的特征表示机制,从音乐数据中挖掘出了更多丰富的情感信息,更细粒度的刻画了音乐的情感属性。另一方面,为了实现音乐特征与图像特征两种不同模态的数据进行更有效的融合,本文提出了更具情感区分度的多模态LPP算法,将音乐与图像特征映射到隐式空间中表示,实现多模态融合。在实验中,本文分别使用了满意度和查准率对实验结果进行衡量,并通过与其他方法的比较对实验结果进行分析。同时本文还对实验结果分别进行了基于句子级别特征表示评估和基于多模态隐式空间表示评估。最终,实验结果表明,本文提出的基于句子级别特征表示和LPP算法在实验中均获得了良好的效果。
其他文献
沙门氏菌是一种重要的人畜共患病原菌,也是导致食物中毒的最常见致病菌,严重威胁着人类和动物的健康.本文从沙门氏菌靶位基因突变、酶解作用、药物外排作用、膜通透性、生物
<正> 早期断奶仔猪腹泻是目前仔猪生产中的常见病,它严重影响仔猪断奶后生长潜力的发挥,而仔猪断奶到10~11周龄的生长速度决定着肥育后期的肥育性能和最佳胴体重,因此,如何预
从用户的安全性考虑,完善的车载免提系统应支持语音交互接口。在用户手不离开方向盘的情况下,能完成语音拨号等功能。首先介绍了语音识别技术,着重分析蓝牙技术在嵌入式车载
广西由于其独特的地理位置背靠大西南临近港澳粤等地区,与越南地区山水相连,因此成为了华南经济圈、东盟经济圈以及西南经济圈的交汇之地。广西还因为其具有丰富独特的旅游资
目的:探讨更好地处理鼻内镜下泪囊鼻腔造孔术造孔的方法。方法:102例(109眼)慢性泪囊炎患者于鼻内镜下行泪囊鼻腔造孔术,术中用银夹固定造孔,术后给予综合治疗,并随访3~73个月
为了了解数字广播发展的近况,对目前国际上发展较为成熟的几种数字广播,即数字声音广播(DAB)、数字多媒体广播(DMB)、数字调幅广播(DRM)、数字卫星声音广播(DSB)、网上(数字)
随着我国对外贸易的不断发展,我国出口产品遭遇国外技术性贸易壁垒的限制也在不断增加,技术性贸易壁垒已经成为阻碍我国出口的第一大非关税壁垒,在很大程度上给我国的出口带
<正>班主任是班级工作的领导者和组织者,是学校管理工作的实施者,班主任的能力是其开展各项工作的条件和保证。但由于班主任工作具有复杂性、动态性、超前性、情感性的特征,
介绍了饲料行业目前常用的甜味剂的应用现状以及在饲料中的功效。阐述了功能性饲用甜味剂既能提高幼畜的采食量、改善饲料转化率、并能掩盖日粮中其他成分的异味,改善饲料的
2015年中国网球公开赛在北京举行,通过激烈的角逐,纳达尔与德约科维奇在决赛中相遇,德约科维奇以2-0赢得了冠军。该文通过文献资料法、录像观察法,数理统计法、比较分析法等