论文部分内容阅读
随着互联网的快速普及和数字影像采集处理技术的发展,网络视频行业迅速崛起,并在人们的日常生活中起着越来越重要的作用。作为一种包含图像、声音、文字等多信息的综合性媒体,视频具有强大的信息承载和传播能力,因此视频的语义分析和理解早已成为多媒体信息处理领域的一个重要研究方向。另一方面,随着电子商务平台的发展和购物环境的改善,网络购物等消费方式逐渐渗入人们的生活,这为网络视频行业与电子商务的有机结合带来了商机。结合视频内容分析与用户个性化信息的广告推荐打破了在传统的电视广告中观众只能被动接受既定的广告的营销方式。因此,针对各种网络视频的语义分析并进行网络购物等相关广告服务信息的个性化推荐具有重要的研究意义。
本文在对利用各种网络资源对视频进行语义标注、利用用户的个人信息和社交信息进行个人兴趣偏好的学习、建立概念语义空间并进行文本语义相关性比较、挖掘广告信息与视频内容和用户兴趣之间的双重相关性进行个性化的广告服务推荐等方面做了深入研究。主要工作和贡献如下:
1.提出了一种基于渐进式检索的广告视频标注方法,实现了基于语义关联的广告推荐。首先,提取广告视频中具有商品信息的关键帧图像,融合多种特征在商品数据库中进行基于谱哈希的图像检索;然后对检索结果对应的文本信息进行聚类,提取相应关键词作为广告视频的标注并以此进行文本检索,将得到的商品信息作为推荐结果。其中,通过视觉检索一定程度上解决了广告视频缺少文本标注而难以进行语义分析的问题,文本聚类和检索部分则有效降低了视觉检索中语义鸿沟的影响,使得推荐的商品信息与广告视频保持一定的语义相关性。
2.提出了一种基于视频概念检测和查询词扩展的交互式广告推荐方法。首先,通过视觉概念检测等手段对网络视频进行基于内容的语义标注,并结合用户标签等文本获得视频的上下文信息。其次,我们针对广告商品领域,利用电子商务网站的目录结构,建立了一个面向广告的语义概念空间。然后将视频的上下文信息在语义空间中进行关键词扩展,方便用户交互选择关键词。最后,根据关键词进行文本检索得到相关广告信息的推荐。
3.提出了一种融合语义相关性和社会相关性的视频广告推荐方法。在视频语义分析方面,利用视频与相关文本协同的方法进行视频标注。在用户兴趣方面,采用多元关系概率矩阵分解模型将网络视频用户的个人数据和社交信息中的多种关系结合起来,对用户偏好进行学习。在语义相关性比较方面,将三种信息(视频标注、用户兴趣和广告标签)向广告领域的概念空间投影,通过计算概念分布之间的相似度得到广告和视频内容的相关性以及广告和用户兴趣的相关性,实现面向网络视频的个性化广告推荐。
4.根据上述三种方法,分别设计了一个针对广告视频的相关广告推荐系统,一个基于网络视频上下文信息的交互式广告推荐系统和一个网络视频的个性化广告推荐系统。通过对各类视频和实际用户数据进行实验,验证了我们的视频语义分析、用户兴趣学习、语义相关性计算等方法和各种推荐方案的有效性。