【摘 要】
：
情绪识别是一个新兴的跨学科研究领域,也是使机器能够模仿人类的的关键技术之一。目前在自然语言处理领域,通过深度学习以及迁移学习技术,在文本模态的情绪识别任务已经得到了极大的进展。然而伴随着社交媒体技术的发展,例如,抖音,快手,哔哩哔哩等软件平台,情绪识别所面向的数据逐渐由单一的文本模态变成包含文本,音频,视频的多模态数据。多模态结合会携带更多的信息,弥补了仅使用文本不完整模态信息而阻碍情绪识别决策过
论文部分内容阅读
情绪识别是一个新兴的跨学科研究领域,也是使机器能够模仿人类的的关键技术之一。目前在自然语言处理领域,通过深度学习以及迁移学习技术,在文本模态的情绪识别任务已经得到了极大的进展。然而伴随着社交媒体技术的发展,例如,抖音,快手,哔哩哔哩等软件平台,情绪识别所面向的数据逐渐由单一的文本模态变成包含文本,音频,视频的多模态数据。多模态结合会携带更多的信息,弥补了仅使用文本不完整模态信息而阻碍情绪识别决策过程的缺陷。此外,多模态情绪识别在医疗保健系统(作为心理分析的工具),人机交互(精确把握用户需求)等方面具有很大潜在应用前景。目前在多模态情绪识别领域主要面临:表征,翻译,对齐,融合以及协同学习五个方面的关键难点。本文聚焦于文本和音频两个模态,从表征、融合以及协同学习三个挑战方面,进行了深入探索。首先分别在单模态提取出有效的表示特征,在此基础上使用可以充分融合不同模态之间互补信息的方法,将多模态表征统一到相同的向量空间中,最后解决了模态缺失这种需要协同学习的实际问题。本文提出了结合特征工程与循环神经网络的多层次、多特征音频表征提取方法,使用辅助模态监督训练的融合策略和生成式的多任务网络,分别解决了上述的三个挑战。在IEMOCAP,MELD等国际公开多模态数据集上取得了较好的情绪识别效果。实验结果表明了本文工作的有效性,为人工智能多模态情绪识别领域提供了参考与方法依据。
其他文献
由于石油资源不可再生与温室效应增加,节约资源和减少二氧化碳排放逐渐引起人们重视。电动汽车由于其低能耗与低污染等优势受到了极大关注,但是受制于电池技术等因素,续航里程成为电动汽车推广的瓶颈。同时,传统液压减振器在车辆运行过程中将悬架振动能量转化为热能散失到环境中,造成能源浪费,因此本文提出一种馈能减振器设计方案,在减振效果与传统减振器相似的前提下,还可以将悬架振动能量转化为电能,为电动汽车传感器供电
Black-Scholes模型自问世以来,一直被学者们高度关注。经典的BlackScholes模型假设标的资产变化服从几何布朗运动,而大量实证研究表明,标的资产变化具有“尖峰厚尾”特征,更符合分数布朗运动特征,并且在实际金融市场中,标的资产价格会因突发事件(金融危机、自然灾害等)出现间断性跳跃。因此,本文引入分数跳-扩散过程刻画标的资产价格变化,研究分数跳-扩散和混合分数跳-扩散环境下的欧式期权、
冶金桥式起重机主要用于熔融金属的搬运,是冶金行业不可或缺的重型装备之一。在生产过程中,由于冶金车间内工作环境温度高、粉尘大、工作环境恶劣,疲劳破坏事故时有发生。因此,研究冶金铸造起重机桥架结构的疲劳性能,是维持其安全运行以及预测其使用寿命的重要保证。本文首先对Q345B钢在热辐射环境下进行拉伸疲劳试验,研究其疲劳特性。根据现场测试温度,在试验室进行Q345B钢的疲劳拉伸试验,并对试验数据进行处理;
机动车不是“停”就是“行”,“停”时构成城市静态交通,“行”时构成城市动态交通。公共停车设施属于城市静态交通系统中的一环。近些年来,城市机动车数量增长迅速,而城市公共停车设施作为配套市政公用基础设施却未与之成比例增长。当前城市停车设施缺口较大,各类停车难、停车乱等问题已经成为“城市病”普遍存在于我国各大城市中,使得城市动态交通和静态交通的发展都受到了阻碍。停车问题对城市发展影响深远,包括城市整体形
利用室外盆栽的方法,以4种一年生植物燕麦、箭筈豌豆、籽粒苋和多花黑麦草为研究对象,通过单播和混播群落地上、地下生物量和功能特征的比较,探讨水分和肥力胁迫对群落中种间
融资租赁是一种新兴的通过租赁物来进行融资的方式,我国经济规模的不断扩充推动了融资租赁的潜在需求的增加,发展前景乐观。在融资租赁业务过程中不同类型的风险也相继产生,而在企业的生产与经营、投资或筹资等一系列财务活动过程中,任何一个环节和方面都可能存在财务风险,企业必须引起重视并采取解决措施。发展融资租赁业务的关键在于做好财务风险控制,从而推动业务的有序开展与稳步前进。通过系统地识别和评估出企业可能甚至
我国目前正在全方位建成小康社会的关键时刻,加快高速铁路的研发对中国梦的实现和伟大复兴具有重要意义。位于我国兰新第二双线的百里风区,受其地理因素的影响,经常产生沙尘暴天气,期间瞬时风速高达64 m/s,并且沿线大风夹杂着沙粒,严重危及了列车的行驶安全。因此,本文通过以下几个方面研究风沙耦合对高速列车冲蚀性和气动性的影响。(1)基于CFD(Computational Fluid Dynamics)流体
稀土配合物由于其独特的发光特性,如大斯托克斯位移,尖锐的发射曲线,长寿命激发态,在光、电、照明、传感等领域展现出潜在的应用价值。但是,稀土配合物自身具有较差的光热稳
随着中国经济的快速发展,市场竞争日趋激烈,企业必须多元化发展才能在较强的市场竞争中显示出优势。但内部扩张往往周期较长,许多企业为了实现长久发展目标,希望通过并购的方式提高市场占有率,增强其竞争能力。企业并购是企业进行扩张,实现快速发展的重要方式之一。通过有效的并购活动能够扩大企业业务范围和企业经营规模,增强企业综合竞争实力以及在市场当中的影响力。当然,企业并购是一个长期性、复杂性的过程,财务风险在
随着现代科技的高速发展,互联网催生的各类应用在全球范围内迅速普及,并日益改变人们的生活方式。其中,流媒体技术和宽带技术促进了多媒体内容在互联网上的传输,这些新的技术为基于IP的音频/视频传输提供了可能,与此同时Vo IP(Voice over Internet Protocol)技术应运而生。Vo IP是一种基于互联网进行语音交互的通信系统,凭借着较低的语音业务成本,在全球范围内得到了迅速的发展。