论文部分内容阅读
视频内容分析是近年来非常活跃的一个研究方向,其基本研究目的是研制自动化的算法和系统,以便于实现对视频信息的有效组织、管理和再利用。视频内容表示是视频分析系统中的一项重要内容,已成为解决低层特征和高层语义之间的语义鸿沟问题的主要途径之一,其研究目的是通过对视频数据的处理和分析,建立具有语义表征性的内容表示模式,进而实现对视频内容的表达和描述。鉴于其重要地位和功能,论文针对视频内容表示进行了研究。
论文基于视觉认知理论的有关研究成果,构建面向感知的内容表示机制,主要包括三个方面:基于语义单元、基于事件和基于关键帧的内容表示的研究,提出了有效的算法,并用实验验证了这些算法的有效性。
在基于语义单元的表示上,将注意力机制引入视频信息的分析,针对视频序列中的图像帧,提出了一种有效的视频信息显著性分析方法,用于提取符合感知过程中受注意程度高的区域,即显著区域。
由于视频信息的时空特性,单幅图像帧的显著区域不能满足视频语义分析的要求。为了提取更为有效的语义单元,除了需要空域的区域分割外还需要进行时域的分析以获得空域和时域两方面的语义信息。通过显著区域的时空特征一致性分析,论文提出了一种基于时空显著单元的提取算法,得到一个时间段内具有内容一致性的时空区域,即时空显著单元,其内容表征能力在视频序列匹配的应用实验中得到验证。
在基于事件级的内容表示上,根据人对事件的视觉感知特点,论文构建了一个事件级内容表示模型。并在此模型基础上,针对体育视频中的特定语义事件,提出了一种有效的语义事件检测方法。
在基于关键帧的内容表示上,从度量视频序列内容变化程度这个问题出发,提出了一种基于内容冗余度和语义相关性的关键帧提取算法,用以简明扼要地总结视频信息的主要内容,为用户提供了概观视频内容的途径和非线性浏览视频的方式。