论文部分内容阅读
随着社交网络、微博、视频网站等互联网应用的快速发展,以及手机、平板电脑、摄像机等数码设备的不断普及,数字视频的数量在急剧增长。如何从海量的视频库中检索出满足用户需求的内容,变得越来越重要,也是一个极具挑战的关键问题。传统基于文本的视频检索由于描述能力有限、用户差异性大等原因,很难满足用户的需求。而基于底层视觉特征的视频检索又面临着人类高层语义与计算机底层表示之间的“语义鸿沟”问题。为此,研究者们提出了基于概念的视频检索,并构建了一些概念集合,如:LSCOM,Columbia374,MediaMill等。然而,在真实世界中出现的概念十分复杂,现有概念集合的规模都还不足以支持真实世界的视频检索。此外,为概念集合中的每个概念标注足量的训练样本需要耗费大量的人工成本,且这个成本也随着概念规模的增大不断增加。这些问题都制约着基于概念的视频检索的进一步发展。 本文针对以上问题,提出了概念-属性表示方法,并用来支持真实世界的视频检索。相对概念,属性具有以下优点:⑴属性能从某些方面(如:颜色、材质、纹理等)对所有检索主题进行描述。因此,相对较小的属性集合就能描述真实世界各种各样的检索主题。⑵属性能从不同的概念类别共享训练样本(例如:属性“Metallic”的训练样本可以来自于概念:“Car”,“Airplane”等)。这样避免了训练样本不足的问题。⑶属性能对概念描述进行补充,这对某些有特殊约束的检索特别有效(例如:“检索包含Red Bus的视频”)。而相对于属性,概念能提供更精确的描述(例如:直接说出“Bus”,而不仅仅说“Metallic”、“Cuboid”等)。因此,本文将概念、属性结合,提出概念、属性表示方法,使概念、属性充分发挥各自的优点,从而支持更广泛的视频检索主题。在这个表示方法中,概念旨在提供准确的描述,而属性不仅是对概念的描述进行补充,更重要的是覆盖更广泛的检索空间。在概念-属性表示方法基础上,本文还提出来一种基于无向二分图的概念-属性联合选择算法,利用概念-属性间的相关关系为用户检索自动地选择相关概念、属性。我们在TRECVID2008数据集上进行实验,取得了较好的实验结果,验证了概念-属性表示方法以及我们的概念-属性联合选择算法的有效性。