面向视频搜索的文本相关性研究

来源 :西南财经大学 | 被引量 : 0次 | 上传用户:learner1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网视频行业尤其是短视频领域的蓬勃发展,视频搜索逐渐成为用户获取感兴趣视频的主要手段。其中,文本相关性计算作为视频搜索中的关键步骤,它具有非常重要的理论与实际研究意义。通常,传统的检索方法通过计算用户搜索文本与内容标题的相关性得分,从而基于此进行排序并返回结果。然而,传统方法并不完全适用于视频搜索场景,并且具有语义局限性。针对以上问题,本项研究主要开展面向视频搜索的文本相关性研究。本文的主要工作包含以下两部分:(一)融合视频搜索场景新特征的文本相关性研究对于传统文本搜索来说,搜索引擎的本质就是对于用户给定的query,搜索引擎通过query和doc的匹配,返回用户最感兴趣最可能点击的文档的过程。传统的文本相关性有较多的方法,例如基于传统词匹配的方法,此类方法依赖于人工的特征。然而,部分特征不太适用于视频搜索场景。另外,在视频搜索中存在着该场景特有的新特征,如:用户query和doc的交互特征、知识特征等。因此,本文提出融合视频搜索场景新特征的文本相关性的算法,利用一系列视频搜索场景下的新特征,包括用户行为特征、知识特征和后验特征,并使用机器学习算法GBDT构建相关性模型。最后,本文在真实的数据集上以MRR、NDCG作为评价指标,通过特征消融实验证明了本文提出的新特征的有效性。(二)基于知识增强方法和Transformer模型的文本相关性研究由于基于词匹配的相关性计算方法存在着一些局限性,比如语义局限,结构局限。字词匹配无法处理同义词和多义词的问题,部分场景需要结合文本的上下文语义,并且传统匹配依赖人工特征,依靠人工精心设计很多特征才能达到不错的效果,中间还有一系列的大规模的特征选择,模型融合等过程,往往需要花费大量的时间来挖掘特征。基于该缺点,创新性地提出了基于知识图谱增强的深度语义文本相关性模型(Knowledge Graph–Transformer,KG-TRM)。具体来说,该模型包含两个关键点:1、该模型首先利用大规模结构化知识图谱(Knowledge Graph)学习实体浅层语义表示,并和非结构化文本中实体语义表示进行融合,达到增强知识信息的目的。2、该模型基于传统Transformer模型,改进其共注意力模块,使优化后的模型能够同时学习到query和doc的精准交互特征。KG-TRM以知识增强语义表示作为输入,利用transformer编码器分别学习query和doc的语义向量,分别在query侧和doc侧的向量使用多个卷积层和池化层,提取高阶局部语义,最终利用多层感知机和激活函数得到相关性的分数。通过在真实数据集上与现有若干基线模型比较,KG-TRM模型在多个评价指标上均优于基线模型,验证了提出的KGTRM模型的有效性。
其他文献
学位
学位
学位
学位
学位
学位
学位
金融领域每天产生的数据正在以惊人的速度快速增长,积累了非常庞大繁杂的各类数据,但“数据丰富可价值贫乏”成为了大众普遍现象,如何从海量金融领域数据快速找出有价值的决策信息,是令很多金融分析人士和市场投资者十分感兴趣的问题。年报是用来描述公司当年整个经营情况,既有文本内容描述公司基本情况、股东分布情况、重要事项等方面又有关于公司财务的报表数据。年报中管理层讨论与分析的情感语调不仅是年报处理的重点,而且
学位
学位