论文部分内容阅读
计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力,而使计算机能够感知三维环境中物体的几何形状、位置、运动、姿态等就是其中的一个方面。本文综述性地回顾和介绍了序列图象三维运动分析目前国内外的研究发展状况,结合计算机视觉理论与摄影测量方法系统地研究了由双目立体序列图象对物方场景中三维运动物体定位跟踪所涉及的摄像机检校、运动分割、图象匹配、特征对应、物体(三维)运动参数的计算、物体运动估计等关键核心内容,给出了上述各关键部分的所有算法及其相应实验,为该系统的进一步研究与实用化打下了坚实的理论与实验基础。 摄像机检校是一个确定三维物方坐标系与摄像机二维图像坐标系之间变换关系的过程,摄像机检校的精度和可靠性直接影响着视觉系统的空间定位量测精度。本文针对采用普通视频CCD摄像机完成基于特征对应的运动分析,需提供获得运动物体摄影时摄像机的内外方位元素值这一事实。对普通视频摄象机存在镜头畸变差大、图象分辨率低、存在光电扫描误差、有效焦距、主点不确定等问题,提出了一种利用场景物方空间己知几何关系的点线,对基于特征对应运动分析的摄像机实施在任检校(in suit calibration)的方案,通过序贯(分步)DLT算法得到内、外方位元素及镜头,光电畸变误差,在对摄像机进行检校的同时,解求运动物体特征对应点的场景物方坐标。 运动分割(检测)是物体运动分析的一个关键问题,检测运动目标的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于随后的目标跟踪定位非常重要,因在以后的处理过程中,可仅需考虑图像中对应于运动区域的像素,使数据操作更具有针对性。此外,它还可以节省大量的存储空间。然而,由于背景图像的动态变化,如天气、光照、影子及其它干扰的影响,使得运动检测成为一项相当困难的工作。根据本研究工作的实际,本文对静止背景下运动目标的提取定位,分别采取了基于帧间差分的运动目标提取与基于背景图象差分的运动目标提取。实验结果表明:基于帧间差分的运动目标提取方法,具有运算简单,可操作性强的特点。结合适当的噪声去除方法即可得到有效的结果,其缺点是检测出物体的位置不够精确。文中给出的背景图象差分法充分考虑了长序列图象帧间的相关信息,根据统计规律在整个序列中挑选合适的点对背景进行恢复,较以往的简单背景差分(事先将背景图象存储下来,再与观测图象进行差分运算)具有明显的优势。上述两种方法均不需要目标和背景的先验知识,能够快速定位,适用于实时处理。 图象匹配与特征对应是立体、运动图象分析中最为重要也是最为困难的问题。这里图象匹配即立体图象的立体匹配及运动图象的序列匹配,而特征对应是指在三维运动分析中物方“图象”序列中特征点的对应。为完成本论文研究运动物体定位跟踪的目的,图象匹配、特征对应是一个无法回避的关键环节,也是全文的一个难点问题。本文以计算机视觉界习惯采用的基于特征的图象匹配为研究方法,通过对保持结构的形态学方法—SUSAN算子和Harris算子分析比较确定最优特征提取算子;以灰度相似性为准则建立起初始匹配集;通过基于匹配支持度的概率松弛迭代完成图象间的初始匹配,进一步,鲁棒地估计基础矩阵F建立核线约束;最后利用核线约束对初始匹配集做筛选,得到可靠的匹配集。实验证明了该方法的有效性。 在完成图象匹配的基础上,针对基于点特征的三维运动分析中,同时存在序列、立体图象匹 配问题,研究分析该过程不同匹配的特点,提出了序列(运动)、立体匹配相结合,分阶段的双匹配约束方法。结合上述摄像机的检校结果保证了运动物体不同时刻任意物方特征点的对应。 单、双序列图象理论上虽然都能完成物体三维运动的分析,但计算的复杂性及计算结果的精确性存在着差别。为根据场景(物方)已知先验条件比较两者的精确性,本文借鉴摄影测量的“相对定向”及“空间相似变换”概念,利用摄像机的检校结果及其它附加条件将图象数据与实际三维空间衔接,使单、双序列图象计算结果统一到以场景(物方)某固定点为坐标原点的场景物方坐标系中,使两者计算结果得以比较成为可能。 无论是基于二维图象序列(单序列图象)三维运动分析的“八点法”,还是基于三维(物方) “图象”序列特征对应(双序列图象)的三维运动分析都存在对描述三维运动参数R、T的求解。本文通过分析旋转矩阵的性质,在保证线性算法的前提下,精简计算过程中待定的运动参数变量,克服了传统算法待定变量多、可靠性差的缺点,提高了计算的准确性和稳定性。 序列图象中的运动目标跟踪实际上是目标运动轨迹的估计,为完成运动物体图象特征的跟踪定位,本文通过对双目立体视觉系统的检校,运动物体图象任意特征点的序列、立体匹配等步骤,在获取运动物体对应的三维特征点的情况下,依此作为序列图象不同帧的特征值,采用线性函数、二次函数的方法,分别对作匀速、匀加速度运动的物体根据上述计算值对三维运动的平移量进行估计,以完成运动物体状态的预测估计。 为完成立体序列图象三维运动物体定?