论文部分内容阅读
摘要：为提高增强现实系统中标记跟踪注册的实时性，本文基于视频帧图像块匹配运动估计方法，通过连续帧间运动相关性预测标记运动方向，在预测方向区域检测标记，降低了全帧检测标记的时间复杂性。基于ARToolKit，验证了本方法可显著提高标记跟踪的时间性能。
关键词：增强现实；块匹配；跟踪注册；跟踪预测
中图分类号：TP391.41文献标识码：A文章编号：1007-9599 (2013) 05-0000-02
1引言
增强现实（Augmented Reality，简称AR）是将虚拟物体注册于现实环境中，其中虚拟物体由计算机生成，并允许用户与之实时交互。增强现实在教育培训、工业设计、机械制造、医疗手术等方面得到了广泛的应用，并且在这些领域取得了成功的经验，尤其是在室内AR与移动AR方面。如在移动AR方面，Geiger，C.等人[2]设计了一个AR Soccer游戏，屏幕中出现一个虚拟的球和虚拟的场景，用户通过摄像机捕捉现实世界中脚的运动完成踢球的动作。邵峰晶等人设计了一个基于增强现实技术的网络游戏，并且针对跟踪注册速度过慢的问题，提出了一种快速角点检测算法（CFD），另外针对AR系统抖动的问题，提出了一种手持增强现实系统中摄像机姿态抖动补正算法。基于标记的跟踪注册是增强现实的关键技术，它通过对预先放置于真实世界中的标记进行实时检测与识别，计算摄像机相对于标记的位置，实现虚拟物体在真实场景中的注册。在这一过程中，计算机需逐帧进行标记检测与识别，导致计算量较大，对虚拟物体的实时注册性能产生较大的影响。基于此，本文在增强现实中引入帧图像块匹配运动估计方法，预测其后续帧图像中标记的运动方向，在预测方向的图像区域检测标记，提高虚拟物体跟踪注册的实时性。视频图像处理的主要问题之一是运动估计，其是通过帧与帧之间存在的相关性对帧图像进行适当处理。现有的方法中，如陈靖[6]等人基于运动估计方法中的光流法预测标记点的图像坐标位置，然后通过采用局部搜索法对图像的重心位置的坐标进行搜索。但是，在某些情况下，运动不产生光流，这将影响运动估计的准确性，而块匹配运动估计方法不会产生以上问题。
块匹配运动估计在图像的一定搜索区域内按照一定的块匹配准则函数，根据一定的块匹配搜索方案进行搜索，找出参考帧中的最优的匹配块，并计算参考帧与当前帧之间的运动矢量。如今有很多的经典搜索方案如：全搜索法（FS），三步法（TSS），新三步法（NTSS），四步法（4SS），菱形搜索法（DS）等。这些搜索方案根据其应用环境各有其优缺点。虽然全搜索法具有高度的精确性，但其运算复杂度相应的也较高。三步法（TSS）具有快速高效以及其运算量少的特点，但其精确度较低。三步法是指首先从起点开始，选取最长搜索半径的一半作为步长，在距离步长的8个像素点处完成块匹配计算。第二步，将步长减半，中心点移动到第一步的具有准则函数值最小的点，重新在距离步长的8个点处完成块匹配计算。第三步，将步长再次减半，在中心点及周围的8个点处找出准则函数值最小点，找到运动矢量，搜索结束，否则重复第二步。本文使用提出的自适应步长的三步搜索法进行预测角点位置，所谓自适应三步搜索法是指最初设定阈值与准则函数最小值进行比较，即当阈值小于准则函数最小值时，步长采用原步长的1/4，而当阈值大于准则函数最小值时采用原步长的1/2，以此提高搜索的精度。
2基于块匹配的AR跟踪预测算法
基于黑白标记的增强现实跟踪注册过程如下所示：
首先，二值化摄像机捕捉到的视频图像；
从二值化后的灰度图像中进行提取轮廓特征操作；
紧接着在第二步得到的结果中抽取中矩形轮廓并进行矩形匹配；
最后，经过模板检查后将得到识别的标记。
图1为增强现实系统的工作流程图。因为运动目标每次运动都需要完成一次AR的跟踪注册过程操作，导致系统速度过慢，这在一定程度上严重影响注册实时性。因此，本文结合两种技术：ARToolKit与块匹配运动估计，通过帧间相关性估计出目标的运动矢量，然后在运动矢量的基础上计算摄像机姿态，这样增强现实系统可以避免每一次运动后都要对标记进行检测。
基于块匹配的AR跟踪预测算法基本思想是：第一步，捕捉第一帧视频图像（参考帧），对标记进行检测，当系统检测到合法的标记后，我们计算摄像机姿态，在计算出的摄像机相对于标记的位置的基础上完成注册操作，然后将得到的虚实结合的结果输出；第三步，使用运动矢量对标记的四个角点的位置进行预测，运动矢量是指参考帧中的图像子块的位置与当前帧该相同圖像子块位置之差，也称为偏移量。由于在对第一帧图像进行检测过程中，标记的四个角点的位置已经被得到，因此这也就意味着标记的四个角点在下一帧相应地会移动预测的运动矢量的距离，根据此预测的运动矢量计算出新的四个角点的位置；第四步，通过预测出的新的四个角点位置重新计算摄像机姿态，得出此时摄像机相对于标记的新位置；第五步，在第四步的结果的基础上完成虚拟环境的注册，然后输出得到的虚实结合的图像。
3实验结果
我们通过以下几组实验对该方法进行分析：
3.1实验一：我们将摄像机分别向四个方向连续移动：上、下、左、右，本文提出的方法可以很好的完成跟踪预测并准确的在现实世界中对虚拟模型注册。图4为摄像机连续向右移动时的视频效果图。
3.2实验二：我们通过100次跟踪注册计算其所用的总时间，与未进行预测的ARToolKit进行比较，实验分别在五个方向上连续运动：上、下、左、右、混合。在总时间方面，我们发现本文提出的方法比未进行预测的ARToolKit少，鉴于此，我们得出结论本文提出的方法在性能上占有比较大的优势，如表1。表1中混合方向是指摄像头在任何方向上运动。
图2 摄像机连续向右移动时跟踪预测效果图
表1 基于块匹配的ARToolKit与ARToolKit进行比较（时间：s/次）
摄像机移动方向 ARToolKit 基于块匹配的ARToolKit
连续向右 0.3343 0.3296
连续向右 0.3374 0.3280
连续向上 0.3359 0.3265
连续向下 0.3328 0.3266
混合运动 0.3359 0.3266
4结束语
本文通过利用视频图像的帧间相关性进行增强现实系统的跟踪预测，并通过将块匹配运动估计方法引入到增强现实系统中，实现了基于块匹配的增强现实系统跟踪预测，提高了注册效率，而且基于块匹配的增强现实系统比原来的增强现实系统减少计算量。总之，基于块匹配的AR跟踪预测算法可以得到很好的跟踪预测效果。
参考文献：
[1]隋毅.基于手持设备的增强现实技术研究与应用[D].青岛大学,2008.
[2]陈靖.利用光流预测的增强现实系统注册方法[J].系统仿真学报,2001,6:739-742.
[作者简介]王晓明（1982.8-），女，本科，研究方向：数据库优化查询算法，单位：烟台东方分析仪器有限公司
关键词：增强现实；块匹配；跟踪注册；跟踪预测
中图分类号：TP391.41文献标识码：A文章编号：1007-9599 (2013) 05-0000-02
1引言
增强现实（Augmented Reality，简称AR）是将虚拟物体注册于现实环境中，其中虚拟物体由计算机生成，并允许用户与之实时交互。增强现实在教育培训、工业设计、机械制造、医疗手术等方面得到了广泛的应用，并且在这些领域取得了成功的经验，尤其是在室内AR与移动AR方面。如在移动AR方面，Geiger，C.等人[2]设计了一个AR Soccer游戏，屏幕中出现一个虚拟的球和虚拟的场景，用户通过摄像机捕捉现实世界中脚的运动完成踢球的动作。邵峰晶等人设计了一个基于增强现实技术的网络游戏，并且针对跟踪注册速度过慢的问题，提出了一种快速角点检测算法（CFD），另外针对AR系统抖动的问题，提出了一种手持增强现实系统中摄像机姿态抖动补正算法。基于标记的跟踪注册是增强现实的关键技术，它通过对预先放置于真实世界中的标记进行实时检测与识别，计算摄像机相对于标记的位置，实现虚拟物体在真实场景中的注册。在这一过程中，计算机需逐帧进行标记检测与识别，导致计算量较大，对虚拟物体的实时注册性能产生较大的影响。基于此，本文在增强现实中引入帧图像块匹配运动估计方法，预测其后续帧图像中标记的运动方向，在预测方向的图像区域检测标记，提高虚拟物体跟踪注册的实时性。视频图像处理的主要问题之一是运动估计，其是通过帧与帧之间存在的相关性对帧图像进行适当处理。现有的方法中，如陈靖[6]等人基于运动估计方法中的光流法预测标记点的图像坐标位置，然后通过采用局部搜索法对图像的重心位置的坐标进行搜索。但是，在某些情况下，运动不产生光流，这将影响运动估计的准确性，而块匹配运动估计方法不会产生以上问题。
块匹配运动估计在图像的一定搜索区域内按照一定的块匹配准则函数，根据一定的块匹配搜索方案进行搜索，找出参考帧中的最优的匹配块，并计算参考帧与当前帧之间的运动矢量。如今有很多的经典搜索方案如：全搜索法（FS），三步法（TSS），新三步法（NTSS），四步法（4SS），菱形搜索法（DS）等。这些搜索方案根据其应用环境各有其优缺点。虽然全搜索法具有高度的精确性，但其运算复杂度相应的也较高。三步法（TSS）具有快速高效以及其运算量少的特点，但其精确度较低。三步法是指首先从起点开始，选取最长搜索半径的一半作为步长，在距离步长的8个像素点处完成块匹配计算。第二步，将步长减半，中心点移动到第一步的具有准则函数值最小的点，重新在距离步长的8个点处完成块匹配计算。第三步，将步长再次减半，在中心点及周围的8个点处找出准则函数值最小点，找到运动矢量，搜索结束，否则重复第二步。本文使用提出的自适应步长的三步搜索法进行预测角点位置，所谓自适应三步搜索法是指最初设定阈值与准则函数最小值进行比较，即当阈值小于准则函数最小值时，步长采用原步长的1/4，而当阈值大于准则函数最小值时采用原步长的1/2，以此提高搜索的精度。
2基于块匹配的AR跟踪预测算法
基于黑白标记的增强现实跟踪注册过程如下所示：
首先，二值化摄像机捕捉到的视频图像；
从二值化后的灰度图像中进行提取轮廓特征操作；
紧接着在第二步得到的结果中抽取中矩形轮廓并进行矩形匹配；
最后，经过模板检查后将得到识别的标记。
图1为增强现实系统的工作流程图。因为运动目标每次运动都需要完成一次AR的跟踪注册过程操作，导致系统速度过慢，这在一定程度上严重影响注册实时性。因此，本文结合两种技术：ARToolKit与块匹配运动估计，通过帧间相关性估计出目标的运动矢量，然后在运动矢量的基础上计算摄像机姿态，这样增强现实系统可以避免每一次运动后都要对标记进行检测。
基于块匹配的AR跟踪预测算法基本思想是：第一步，捕捉第一帧视频图像（参考帧），对标记进行检测，当系统检测到合法的标记后，我们计算摄像机姿态，在计算出的摄像机相对于标记的位置的基础上完成注册操作，然后将得到的虚实结合的结果输出；第三步，使用运动矢量对标记的四个角点的位置进行预测，运动矢量是指参考帧中的图像子块的位置与当前帧该相同圖像子块位置之差，也称为偏移量。由于在对第一帧图像进行检测过程中，标记的四个角点的位置已经被得到，因此这也就意味着标记的四个角点在下一帧相应地会移动预测的运动矢量的距离，根据此预测的运动矢量计算出新的四个角点的位置；第四步，通过预测出的新的四个角点位置重新计算摄像机姿态，得出此时摄像机相对于标记的新位置；第五步，在第四步的结果的基础上完成虚拟环境的注册，然后输出得到的虚实结合的图像。
3实验结果
我们通过以下几组实验对该方法进行分析：
3.1实验一：我们将摄像机分别向四个方向连续移动：上、下、左、右，本文提出的方法可以很好的完成跟踪预测并准确的在现实世界中对虚拟模型注册。图4为摄像机连续向右移动时的视频效果图。
3.2实验二：我们通过100次跟踪注册计算其所用的总时间，与未进行预测的ARToolKit进行比较，实验分别在五个方向上连续运动：上、下、左、右、混合。在总时间方面，我们发现本文提出的方法比未进行预测的ARToolKit少，鉴于此，我们得出结论本文提出的方法在性能上占有比较大的优势，如表1。表1中混合方向是指摄像头在任何方向上运动。
图2 摄像机连续向右移动时跟踪预测效果图
表1 基于块匹配的ARToolKit与ARToolKit进行比较（时间：s/次）
摄像机移动方向 ARToolKit 基于块匹配的ARToolKit
连续向右 0.3343 0.3296
连续向右 0.3374 0.3280
连续向上 0.3359 0.3265
连续向下 0.3328 0.3266
混合运动 0.3359 0.3266
4结束语
本文通过利用视频图像的帧间相关性进行增强现实系统的跟踪预测，并通过将块匹配运动估计方法引入到增强现实系统中，实现了基于块匹配的增强现实系统跟踪预测，提高了注册效率，而且基于块匹配的增强现实系统比原来的增强现实系统减少计算量。总之，基于块匹配的AR跟踪预测算法可以得到很好的跟踪预测效果。
参考文献：
[1]隋毅.基于手持设备的增强现实技术研究与应用[D].青岛大学,2008.
[2]陈靖.利用光流预测的增强现实系统注册方法[J].系统仿真学报,2001,6:739-742.
[作者简介]王晓明（1982.8-），女，本科，研究方向：数据库优化查询算法，单位：烟台东方分析仪器有限公司