随着智能携带设备所代表的移动互联网的兴起,视频语义概念检测技术越来越成为当今的热门研究方向。视频语义概念检测应用活跃在人们日常生活中的互联网视频、交通安全、视频监控和视频医疗等各个角落,但是由于视频内容的复杂、多变和噪声等问题的存在,视频语义概念检测研究仍然面临着巨大的挑战。在研究了大量的国内外文献之后,首先,对视频语义概念检测的背景、意义和国内外研究现状进行了简单的陈述;其次,简述了半监督学习、集成学习、视频语义概念检测技术的相关知识;再次,针对国内外的研究所存在问题,本文重点研究了伪标签置信选择的半监督集成学习的视频语义概念检测方法和基于Spark的视频语义概念处理检测框架,并且为了验证所提方法和框架的可用性,设计实现了基于Spark的视频语义概念检测原型系统。本文的主要研究工作如下:(1)为了解决有标记样本不足会严重影响视频语义概念检测的性能问题和伪标签样本中的噪声会导致集成学习基分类器性能提升不足问题,提出了一种伪标签置信选择的半监督集成学习的视频语义概念检测方法。首先,在三个不同的特征空间上训练出三个基分类器,得到基分类器的标签矢量;然后,引入加权融合样本所属某个类别的最大概率与次大概率的误差和样本所属某个类别的最大概率与样本所属其它各类别的平均概率误差,作为基分类器的标签置信度,融合标签矢量和标签置信度得到样本的伪标签和伪标签置信度;接着,选择伪标签置信度高的样本加入到有标签的样本集,迭代训练基分类器;最后,采用训练好的基分类器集成协作检测视频语义概念。本方法选择的伪标签能体现样本所属类别与其它类别的总体差异性,又体现所属类别的唯一性,可减少利用伪标签样本的风险,实验结果表明,本方法可有效提高视频语义概念检测的准确率。(2)为了解决视频语义概念检测运行效率低下的问题,提出了一种基于Spark的视频语义概念处理检测框架。该框架包括基于Spark的视频语义关键帧提取框架、基于Spark的视频语义特征提取框架、基于Spark的半监督集成分类器模型训练框架和基于Spark的视频语义分类检测框架。该框架可以内存式并行化处理视频语义关键帧提取、特征提取、模型训练和视频语义分类检测。在不同实验环境上做了对比实验,实验结果表明,所提框架可以明显提升关键帧提取、特征提取、视频语义模型训练和分类检测的运行速度,提高其运行效率。同时,还总结了集群可用CPU核心数和集群可用内存大小对本框架运行效率的影响趋势和制约本框架效率提升的影响因素。(3)为了验证所提出的伪标签置信选择的半监督集成学习视频语义概念检测方法和基于Spark的视频语义概念处理检测框架的可用性,选用Ubuntu16.04、HDFS、Python、Sklearn和OpenCV等技术或者环境,设计并且实现了基于Spark的视频语义概念检测原型系统。系统界面简洁,使用简单,对用户友好,验证了所提方法和框架的可用性。