多随着人工智能的快速发展以及人们对于教育的重视,创新教学方式受到越来越多的关注。大学课堂中,教师的教学方式不再是传统黑板板书,而是转变为包含文本、课件、视频、语音等多种形式的多媒体教学。然而,课程知识的大体框架在课本中主要以目录章节的形式展现,而章节中包含的细小知识点以及各知识点之间的关系却不能一目了然,不利于学生的学习。因此,如何对多种形式的课程资源进行有效的自动整合以及对知识进行更好的组织呈现成为具有重要意义的研究课题。面对以上问题,知识图谱提供了有效的解决方法。本文以大学计算机专业数据结构课程为例,整合不同来源不同结构的数据,提炼出数据中包含的实体及实体间语义关系,构建多模态课程知识图谱,提供一个基于知识图谱的课程多模态检索平台。一方面将知识点以直观清晰的知识图谱形式展现出来,有利于对知识的掌握。另一方面,本文构建的多模态课程知识图谱使得文本和语音模态课程资源之间相互补充,实现多模态资源整合以及课程更底层的知识点的学习路径检索,帮助学生高效学习。本文主要的研究内容及贡献有:1.本文定义了多模态课程知识图谱的数据模式,即实体类型及实体之间关系的定义。将知识点实体定义为结构、算法、相关术语三类,并将语音也定义为一类实体,并在实体之间定义了六种语义关系。2.本文采用融合双向长短期记忆网络和卷积神经网络的命名实体识别模型,将文本的局部信息和全局信息进行结合,采用条件随机场算法对特征序列进行标注,并结合了领域词典,通过对比实验证明该模型F1值有所提高,具有较好的命名实体识别效果。3.在关系分类工作中,本文将词法和句法特征向量结合,作为分类器模型输入,采用基于注意力的双向长短期记忆网络处理关系分类任务。通过与其他模型对比,证明该模型表现最佳,并对提升模型效果的注意力进行了可视化分析。4.本文提出了一个多模态实体链接方法,主要解决知识图谱中的多模态问题。首先通过语音识别技术将老师讲课语音识别成文本,其次通过文本匹配实现语音与知识点实体的匹配链接,并将二者间关系定义为关联,从而完成多模态实体链接工作。实验结果表明,本文的命名实体识别算法和关系分类算法具有较好的效果,可以使得构建的知识图谱具有较高的质量。本文最终基于Neo4j图数据库存储知识,构建出完整的多模态课程知识图谱。为了探究本文构建的多模态课程知识图谱具有很好的应用价值,本文搭建了基于知识图谱的课程多模态检索平台,提供基于知识点的多模态搜索案例,引导学生通过知识间关系进行学习。同时能够提供老师对特定知识点的课堂讲解语音,充分调动学生多种感官,提高学生的学习效果。