基于多模态特征的教学视频标注研究与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:daweinihao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着多媒体技术的不断发展,多媒体数据成为了最流行的获取信息的方式之一。对于海量的数据,通过对视频添加标注来建立索引是常用的方式。传统的基于视觉特征的视频标注方法通过建立底层视觉特征到高层语义之间的映射,缩小视频的“语义鸿沟”,对视频进行自动化的标注。教学视频作为一种领域视频,通过实现教学资源的持久化,使在线学习成为了可能。然而,教学视频却与一般视频不同,具有视觉特征不明显,场景单一等特性,传统的标注方法难以达到满意的效果。因此,如何有效地针对教学视频的特点,对教学视频进行自动化的标注以满足海量教学视频检索和管理的要求,是当前的重要问题。本文针对教学视频的特点,提出了一个基于多模态特征的教学视频标注方法。通过结合视频图像、音频、文本三个模态的特征,来对教学视频进行全面的标注,解决教学视频视觉特征不明显,标注困难、效果不佳的问题。主要的研究工作包括:一、提出了一套基于多模态特征的教学视频标注框架。该方法不同于目前流行的基于卷积神经网络的视频标注方法,结合教学视频的图像、文本、音频三个模态的特征对教学视频进行多角度全面的标注,以应对教学视频图像特征不明显的问题。二、提出了针对教学视频的层次化处理方法。该方法以传统的镜头分割和关键帧提取方法作为基础进行改进,针对教学视频的特点,通过人脸识别等技术对关键帧进行快速分类,并提出了一种基于局部特征的分区域课件关键帧提取方法应对课件切换视觉特征变化不明显的特点,有效地降低了教学视频的处理复杂度。三、设计了一种基于音频模态特征的教学视频标注方法。该方法结合音频识别、卡方检验、词频反向文档频率等技术,对教学视频的音频模态特征进行提取和分析,对教学视频的课程进行标注。四、设计了一种基于文本模态特征的教学视频标注方法。该方法基于现有的OCR产品,对课件中文本内容的提取加以改进,通过与大纲进行匹配,对教学视频所属章节以及分镜头的知识点进行标注。同时通过提出的视频树模型进行场景合并,并与基于音频模态特征的标注结果进行融合。本文所提出的基于多模态特征的教学视频标注方法结合多个模态的特征,很好地解决了单一模态特征造成的错误和缺失,同时能够更全面地对教学视频进行标注。同时,通过原型系统的设计、实现和验证,验证了本文方法的有效性。
其他文献
我科于1971年1月至1973年11月应用黑风藤(Fissistigma polyantbum Merr.番荔枝科,瓜馥木属,本地名总赶藤,产两广及云南、贵州)煎液治疗消化道出血取得显著疗效,75例痊愈69例
在对电动汽车电池管理系统(BMS)的测试中,需要电池模拟器来模拟多节锂电池串联后电池电压效果,以便测试BMS对每节电池电压的测量精度,从而评估BMS的品质。专业的电池模拟器做此应
基于贵州省安装工程计价定额,运用Glodon广联达详细分析防雷及接地装置的预算方法,目的使读者科学掌握防雷及接地装置预算的步骤、方法以及技巧。结合防雷技术服务相关规范、
高天梅(1877—1925)名旭,江苏金山(今上海市金山区)人,是南社的主创人。1905年参与中国同盟会的组建,被推为江苏省的主盟人,随后被孙中山委以重任。他接受全权委托,怀揣一枚“孙文”印
报纸
为探索白菜型冬油菜抗旱机理,采用双向电泳结合液相色谱-质谱技术分析抗旱冬油菜品系DR-5差异蛋白质组变化,克隆其差异蛋白热激同源蛋白70(heat shock cognate protein 70)基
边坡稳定性分析是山区高填路堤设计和研究的主要议题.基于潜在滑移线场理论并考虑土体塑性变形的非关联流动法则,建立了山区高填路堤的稳定性分析方法.首先,选取路基的典型边
为解决某型飞行器地面测控系统多种资源的管理及调用问题,提出以可扩展标记语言XML(eXtensible Markup Language)统一建立系统硬件及软件资源模型;文中给出了地面测控系统硬
假如世界上没有粮食,人类何以绵延至今?假如世界上没有酒,人生何以能够如此愉悦?高山流水,花香鸟语是大自然给予人的福惠,粮食与酒也是自然给予人的福惠,酒与人类结下了不解
期刊
目的:研究恶性黑素瘤与正常皮肤组织的蛋白质表达差异,寻找可能的恶性黑素瘤的诊断标志蛋白和治疗靶点。方法:选取经病理确诊的3例恶性黑素瘤切除标本,提取样本的总蛋白质,运用
目的观察小型钛板坚强内固定治疗下颌骨骨折的临床效果。方法选择下颌骨骨折患者112例,随机分为2组,观察组实施小型钛板坚强内固定治疗,对照组实施传统颌间结扎术牵引固定治