基于视频音频联合识别的校园霸凌检测算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:jiahenglipin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在这个网络媒体技术高速发展的时代,人们接收信息的渠道变得越来越多,校园霸凌事件也开始走入人们的视野中。在互联网自媒体时代中,网络世界中繁杂的暴力、低俗信息对青少年的心智发展产生了严重的影响,有的学生甚至会去模仿接触到的暴力低俗行为,校园霸凌事件不仅影响了校园生活风气还对学生的心理发展产生了恶劣的影响,由此可见在校园中主动检测校园霸凌事件的重要性。本文分别从视频与音频两方面通过模式识别技术对学生遭受校园霸凌的情况进行及时判断,并且通过改进的DS融合算法对两方面的判别结果进行融合。基于校园监控视频并结合定向音频采集设备实现了对学生身心安全进行无间歇的实时监测,有利于构建和谐的校园环境。针对视频图像复杂的数据特征,本文首先对视频图像数据进行预处理,并通过搭建深度卷积神经网络来提取霸凌动作和日常动作数据特征。每16帧视频图像数据提取出一个4096维度的特征向量,在此基础上设计神经网络识别算法,该识别算法的识别规则如下:以16帧视频图像为基本识别单元对视频样本数据进行分割,对每一个基本单元进行一次判断,最终取所有判断结果的平均值作为最终识别结果,最终校园霸凌行为识别的准确率达到了92.00%,精准率达到了95.65%,召回率达到了88.00%,F1-Score值为91.67%,表明该分类模型性能较好。针对音频数据特征的复杂性,本文首先对音频数据进行预加重、分帧、加窗等预处理,其次对音频数据进行MFCC特征参数的提取,之后搭建深度卷积神经网络设计暴力情绪识别算法。本文暴力情绪识别算法的设计基于自制小型语音数据库、芬兰语音数据库以及CASIA公开语音数据库。针对自制小型语音数据库,该识别算法的精准率为88.33%,F1-Score为81.14%;针对芬兰语音数据库,该识别算法的准确率为95.00%,F1-Score为95.00%;针对CASIA公开语音数据库,该识别算法的准确率为91.67%,F1-Score为91.43%。本文中暴力情绪识别算法在3种语音数据库上表现出较好的性能,证明了该算法的通用性。最后,针对DS融合算法的局限性,提出了新的融合规则。并利用改进后的DS融合算法对视频与音频两方面的识别结果进行融合,其准确率为94.33%,F1-Score为94.07%,相比于改进前DS融合算法,该算法的准确率提高了10.19%,F1-Score提高了2.66%。
其他文献
介绍了一种基于AT89C2051单片机和AT45D041IC智能卡开发的智能化流量计量系统。该系统具有精确测量、流量控制、科学计费、数字显示、IC卡智能管理、数据采集、A/D转换和标度变换等功能。着重介绍了系统的原理以及硬件与软件设计。
城市博物馆是城市生存发展的重要组成部分,帮助城市记住它的古往今来,是整座城市精神文明的集中体现。在日益激烈的竞争中,社会中各行各业都需要自己独立的品牌,并在谋求发展
魏晋时期是中国艺术史上不容忽视的重要篇章,此时艺术审美风格与前朝相比发生巨大转向,艺术成就大放异彩,艺术风格大胆,独树一帜,呈现出强烈的时代色彩与文化意义,可以说,魏
介绍了DSP与慢速设备接口的一种时序转换方法.通过该方法,可以解决DSP与传统输入输出设备时序不匹配的问题,从而实现DSP与8080、6800等时序兼容的或其它慢速读写周期的输入/
多环芳烃(polycyclic aromatic hydrocarbon,PAHs)是一种典型的持久性有机污染物,具有分布广泛、难降解和生物毒性等特点,对人类健康和生态环境存在潜在危害。其中土壤中苯并
选择100只健康昆明小白鼠,研究小鼠不同生理阶段以及免疫条件下,乳中总IgG浓度和抗LipaseIgG类抗体效价变化。分娩后4d分别注射灭菌生理盐水、脂肪酶(Lipase)+灭菌生理盐水、空免
医护关系是医生和护士这两种不同职业的人们在医疗过程中的相互关系。本文通过对医护关系的协调运作展开研究,借以增进医护关系,发挥团队作用,促进医患关系和谐,提高患者满意度,减