论文部分内容阅读
摘要：步态识别是采集人体步行的方式从而实现身份的识别，而步态作为生物特征信息识别技术也受到越来越多的关注，其自身的三大优势主要包括其非侵犯性、难以隐藏特性以及远距离识别的特征。本文提出了一种基于小波分析的有效的步态特征提取算法，进行特征的轮廓提取，提取图像轮廓信息中的多维列向量数据，得到较好的识别效果。
1 引言
人体运动行为分析是一个包含了对人的图像序列的检测、跟踪、分类及理解的研究方向，且综合了很多学科的知识，例如图像识别处理、故障诊断与模态识别、人工智能算法以及计算机视觉等等。因此，随着这些领域的发展，人体运动行为分析也在近数十年间不断取得突破。人体运动行为分析有以下几个主要的应用领域：在智能监控系统中，通过对步态分析、人脸识别等方法可以使整个系统完成自主分析，该方法主要依靠摄像头捕捉前端信息，从而为后端的评判做数据预处理，目前已应用在盗窃等危险情况下的自主预警，如银行领域等;其次是智能用户接口，机器人通过前端的传感器采集外界信息，从而自动感知人的信息，并自动获取和上传人体的视觉信息，如手势、面部表情等，从而为人机交互界面更新提供数据支撑;运动分析领域，通过提取传感器采集的关键点信息，从而为训练指导提供依据，如体操、田径训练、舞蹈等。
在计算机视觉基于人体各种运动分析之中，步态分析具有重要价值。步态分析领域隶属于生物识别技术，而其下又包含一主要领域——步态识别——一个通过人们走路姿势对人们进行身份识别的技术，相较于指纹、脸像识别等，步态识别具有能够在远距离进行识别、与被测对象无需接触，对影像的分辨率要求不高、待测对象很难伪装等的特点，因而被广泛应用于远距离监控系统、动画制作、人机交互等领域。它的步态特征的提取与描述的基本流程是：图像预处理、场景建模、轮廓提取、基于轮廓的特征信号描述、轮廓特征信号处理。而它的识别又主要包含相似性评估和分类器选择。
步态识别的特征提取决定了识别的存活率，对于步态识别特征参数的提取可以分为两类方法：基于模型的步态识别，基于统计特性的步态识别。对于基于模型的步态识别方法主要分为三步：首先建立先验模型、其次匹配图像的序列和模型、得出参数比较结果即识别结果。目前的模型主要有：椭圆模型、人字形模型和钟摆模型。但是由于基于模型的方法计算量大，因而计算速度慢，而缺乏实时性。这里主要介绍基于统计特性的特征参数提取方法。和传统的模型法相比而言，其优点在于它不需要建立模型，而只需要通过对研究的对象的一些假设，依据图像序列中目标函数在时间空间状态下移动的多类统计值，从而得到步态中蕴含的特征参数。已知主要应用有：文献【1】依据光流图像来获取频率以及相位特征从而识别个人;文献【2】采取的是以步行人的轮廓宽度特征进行识别。由于基于统计特性计算量小，因而更具有实时性而被更广泛地应用于实际。
除了步态特征提取，特征匹配是步态识别的另一关键点。步态轮廓特征匹配分為静态匹配和动态匹配。轮廓静态帧特征匹配关注单帧图像形状特点，文献【3】直接对轮廓外形之间的互相关的统计量进行比较，文献【4-7】则依据轮廓解卷绕把边缘的信息编码为一维的形式。但由于静态特征不含时域信息，且由于细节捕捉能力差导致区分局部的不相似度困难，因而正确分类率不高。相较之下，轮廓动态特征匹配则关注各帧图像之间的关系，并建立基于完整周期序列特征的模型，文献【8】对整个序列轮廓边缘进行离散傅里叶变换取得序列时变傅里叶的描述量，但由于提取特征信息损失大而精度低;文献【9-10】构造视频锁相环的同步相图来识别个人特征，然后比较序列相似度，但计算量大;还有一种方法是主元分析，以图寻找最优主元的线性组合重建原有样本，并最小化重建后样本与原样本误差。
例如使用OpenPose对人的躯干、四肢甚至手指进行跟踪，并进行姿势估计，单人多人皆适用，具有较好鲁棒性。而基于此的OpenMMD则可将真人视频转化为3D模型动画，具有良好娱乐性及发展前景。
2 研究方法
随着摄影与胶片技术的发展，相机能够捕捉、揭示与动物主要是人类运动的细节序列图像，而这些并不能被人类裸眼观测到。因此，本文将利用摄像头在街头补货视频（图2），通过对单个行人行走过程中的每一帧图片进行分析，得到相应的步态数据（图3）。
基于小波分析的步态特征识别模型，在特征识别的阶段，首先针对人体的静态特性获取低纬步态下的人体运动步态特征向量序列，将该静态向量序列作为整个算法识别的基准信息，最终给出分类结果，方法流程如图1所示。
首先采集步态轮廓下3个方向的投影进而进行步态轮廓特征参数的扫描，采用实验验证的方法从而验证步态特征提取提取的有效性;然后运用离散正交小波函数变换从而实现对时变的步态特征序列的行列数据维数约简，从而在一定程度上降低计算的纬度，同时抑制步态轮廓二值化和投影数据提取中产生的噪声;此外为获得优于传统步态识别中广泛采用的欧式距离度量分类法的分类性能，本文运用支持向量机训练和应用步态分类器进行分类。
需要指出的是，此处我们使用“步态能量”这一概念来定义某一帧动画中人的行为特征。为定义这一物理量，我们首先需要识别人的轮廓（或背景轮廓），由于人是运动的，因此该轮廓可由相邻两幅图中像素变化的点来识别。数学上即计算两幅相邻图像对应点像素的差值，如差值为0即为背景。进一步，将背景像素定义为“全黑”（RGB：0，0，0），将行人轮廓以内区域定义为“全白”（RGB：255，255，255）（图4）。那么，“步态能量”就可定义如下，
式中，
分别表示图像的像素编码，
为像素。在t时间段内，步态能量随时间变化的相关关系。
特征向量集构成如下：
（1）对二值轮廓图进行水平投影扫描来获得规整列向量I1（维数：148*1）;
（2）对二值轮廓图进行垂直投影扫描来获得规整列向量I2（维数：88*1）;
（3）对二值轮廓图进行斜向投影扫描来获得规整列向量I3（维数：172*1）;
（4）将向量I1、I2、I3顺序级联，合并构成规整列向量I（维数：408*1）。
3 结论分析
将相邻两点间的时间（图中横坐标为帧标号）定义为步态的半个周期，那么由此就可以近似得到某一时刻对应的频率。结果显示小波分析的第二分阶层已经可以较为近似地反映出步态的运动频率。
通过对不同人群进行步态分析得到相应的步态数据，我们可以建立相应的运动数据库。如在体育竞技方面，通过对顶级田径运动员赛跑各个阶段的步伐频率分析，来指导和训练学员进行科学的阶段性训练;通过对肢体手术后康复人员臂力训练的运动频率进行分析，得到相应肌群恢复与训练强度之间的关系，从而建立更有针对性的个性恢复计划;再如，通过手机等移动终端收集人的手指运动信号，来设计不同频率的指令，从而实现更少的键盘操作，增强用户体验的便捷性和趣味性。总之，对人体运动行为的实时模拟和分析将是未来人工智能的一大趋势，也是发展穿戴式智能设备的一个重要功能。在这类应用中，小波分析由于其对时间和频率的双重刻画，更加凸显了其数学应用的地位。
参考文献
[1] Barclay C D，Cutting J E，Kozlowski L T. Temporal and spatial factors in gait perception that influence gender recognition[J]. Perception & psychophysics，1978，23（2）：145-152.
[2] Fink，Bernhard，et al. Female Perceptions of Male Body Movements. Evolutionary Perspectives on Human Sexual Psychology and Behavior. Springer New York，2014.
[3] Giudice，Nicholas A.，et al. "Spatial learning and navigation using a virtual verbal display." ACM Transactions on Applied Perception7.1（2010）：1-22.
[4] 王鹏峰，and 程铭. "小波特征和协同表示的步态识别研究." 中国计量大学学报 3（2017）.
[5] 涂斌斌，et al. "一种使用自适应小波去噪和SIFT描述符的步态识别研究." 小型微型计算机系统 v.39.06（2018）：254-258.
[6] 王竣，and 王修晖. "特征融合的多视角步态识别研究." 中国计量大学学报 2（2017）.
[7] 马華兵. 基于机器学习和多视角信息融合的步态识别系统的研究. Diss. 西安理工大学，2008.
[8] 赵草原. 机器学习在可穿戴人体外骨骼系统步态识别中的应用研究. Diss. 电子科技大学.
[9] 姚健，and 张乾勇. "人体步态数据测量系统的设计与实现." 电子测量技术 08（2017）：189-193.
[10] 高云园，et al. "基于多源信息融合的膝上假肢步态识别方法." 仪器仪表学报 31.12（2010）：2682-2688.
1 引言
人体运动行为分析是一个包含了对人的图像序列的检测、跟踪、分类及理解的研究方向，且综合了很多学科的知识，例如图像识别处理、故障诊断与模态识别、人工智能算法以及计算机视觉等等。因此，随着这些领域的发展，人体运动行为分析也在近数十年间不断取得突破。人体运动行为分析有以下几个主要的应用领域：在智能监控系统中，通过对步态分析、人脸识别等方法可以使整个系统完成自主分析，该方法主要依靠摄像头捕捉前端信息，从而为后端的评判做数据预处理，目前已应用在盗窃等危险情况下的自主预警，如银行领域等;其次是智能用户接口，机器人通过前端的传感器采集外界信息，从而自动感知人的信息，并自动获取和上传人体的视觉信息，如手势、面部表情等，从而为人机交互界面更新提供数据支撑;运动分析领域，通过提取传感器采集的关键点信息，从而为训练指导提供依据，如体操、田径训练、舞蹈等。
在计算机视觉基于人体各种运动分析之中，步态分析具有重要价值。步态分析领域隶属于生物识别技术，而其下又包含一主要领域——步态识别——一个通过人们走路姿势对人们进行身份识别的技术，相较于指纹、脸像识别等，步态识别具有能够在远距离进行识别、与被测对象无需接触，对影像的分辨率要求不高、待测对象很难伪装等的特点，因而被广泛应用于远距离监控系统、动画制作、人机交互等领域。它的步态特征的提取与描述的基本流程是：图像预处理、场景建模、轮廓提取、基于轮廓的特征信号描述、轮廓特征信号处理。而它的识别又主要包含相似性评估和分类器选择。
步态识别的特征提取决定了识别的存活率，对于步态识别特征参数的提取可以分为两类方法：基于模型的步态识别，基于统计特性的步态识别。对于基于模型的步态识别方法主要分为三步：首先建立先验模型、其次匹配图像的序列和模型、得出参数比较结果即识别结果。目前的模型主要有：椭圆模型、人字形模型和钟摆模型。但是由于基于模型的方法计算量大，因而计算速度慢，而缺乏实时性。这里主要介绍基于统计特性的特征参数提取方法。和传统的模型法相比而言，其优点在于它不需要建立模型，而只需要通过对研究的对象的一些假设，依据图像序列中目标函数在时间空间状态下移动的多类统计值，从而得到步态中蕴含的特征参数。已知主要应用有：文献【1】依据光流图像来获取频率以及相位特征从而识别个人;文献【2】采取的是以步行人的轮廓宽度特征进行识别。由于基于统计特性计算量小，因而更具有实时性而被更广泛地应用于实际。
除了步态特征提取，特征匹配是步态识别的另一关键点。步态轮廓特征匹配分為静态匹配和动态匹配。轮廓静态帧特征匹配关注单帧图像形状特点，文献【3】直接对轮廓外形之间的互相关的统计量进行比较，文献【4-7】则依据轮廓解卷绕把边缘的信息编码为一维的形式。但由于静态特征不含时域信息，且由于细节捕捉能力差导致区分局部的不相似度困难，因而正确分类率不高。相较之下，轮廓动态特征匹配则关注各帧图像之间的关系，并建立基于完整周期序列特征的模型，文献【8】对整个序列轮廓边缘进行离散傅里叶变换取得序列时变傅里叶的描述量，但由于提取特征信息损失大而精度低;文献【9-10】构造视频锁相环的同步相图来识别个人特征，然后比较序列相似度，但计算量大;还有一种方法是主元分析，以图寻找最优主元的线性组合重建原有样本，并最小化重建后样本与原样本误差。
例如使用OpenPose对人的躯干、四肢甚至手指进行跟踪，并进行姿势估计，单人多人皆适用，具有较好鲁棒性。而基于此的OpenMMD则可将真人视频转化为3D模型动画，具有良好娱乐性及发展前景。
2 研究方法
随着摄影与胶片技术的发展，相机能够捕捉、揭示与动物主要是人类运动的细节序列图像，而这些并不能被人类裸眼观测到。因此，本文将利用摄像头在街头补货视频（图2），通过对单个行人行走过程中的每一帧图片进行分析，得到相应的步态数据（图3）。
基于小波分析的步态特征识别模型，在特征识别的阶段，首先针对人体的静态特性获取低纬步态下的人体运动步态特征向量序列，将该静态向量序列作为整个算法识别的基准信息，最终给出分类结果，方法流程如图1所示。
首先采集步态轮廓下3个方向的投影进而进行步态轮廓特征参数的扫描，采用实验验证的方法从而验证步态特征提取提取的有效性;然后运用离散正交小波函数变换从而实现对时变的步态特征序列的行列数据维数约简，从而在一定程度上降低计算的纬度，同时抑制步态轮廓二值化和投影数据提取中产生的噪声;此外为获得优于传统步态识别中广泛采用的欧式距离度量分类法的分类性能，本文运用支持向量机训练和应用步态分类器进行分类。
需要指出的是，此处我们使用“步态能量”这一概念来定义某一帧动画中人的行为特征。为定义这一物理量，我们首先需要识别人的轮廓（或背景轮廓），由于人是运动的，因此该轮廓可由相邻两幅图中像素变化的点来识别。数学上即计算两幅相邻图像对应点像素的差值，如差值为0即为背景。进一步，将背景像素定义为“全黑”（RGB：0，0，0），将行人轮廓以内区域定义为“全白”（RGB：255，255，255）（图4）。那么，“步态能量”就可定义如下，
式中，
分别表示图像的像素编码，为像素。在t时间段内，步态能量随时间变化的相关关系。
特征向量集构成如下：
（1）对二值轮廓图进行水平投影扫描来获得规整列向量I1（维数：148*1）;
（2）对二值轮廓图进行垂直投影扫描来获得规整列向量I2（维数：88*1）;
（3）对二值轮廓图进行斜向投影扫描来获得规整列向量I3（维数：172*1）;
（4）将向量I1、I2、I3顺序级联，合并构成规整列向量I（维数：408*1）。
3 结论分析
将相邻两点间的时间（图中横坐标为帧标号）定义为步态的半个周期，那么由此就可以近似得到某一时刻对应的频率。结果显示小波分析的第二分阶层已经可以较为近似地反映出步态的运动频率。
通过对不同人群进行步态分析得到相应的步态数据，我们可以建立相应的运动数据库。如在体育竞技方面，通过对顶级田径运动员赛跑各个阶段的步伐频率分析，来指导和训练学员进行科学的阶段性训练;通过对肢体手术后康复人员臂力训练的运动频率进行分析，得到相应肌群恢复与训练强度之间的关系，从而建立更有针对性的个性恢复计划;再如，通过手机等移动终端收集人的手指运动信号，来设计不同频率的指令，从而实现更少的键盘操作，增强用户体验的便捷性和趣味性。总之，对人体运动行为的实时模拟和分析将是未来人工智能的一大趋势，也是发展穿戴式智能设备的一个重要功能。在这类应用中，小波分析由于其对时间和频率的双重刻画，更加凸显了其数学应用的地位。
参考文献
[1] Barclay C D，Cutting J E，Kozlowski L T. Temporal and spatial factors in gait perception that influence gender recognition[J]. Perception & psychophysics，1978，23（2）：145-152.
[2] Fink，Bernhard，et al. Female Perceptions of Male Body Movements. Evolutionary Perspectives on Human Sexual Psychology and Behavior. Springer New York，2014.
[3] Giudice，Nicholas A.，et al. "Spatial learning and navigation using a virtual verbal display." ACM Transactions on Applied Perception7.1（2010）：1-22.
[4] 王鹏峰，and 程铭. "小波特征和协同表示的步态识别研究." 中国计量大学学报 3（2017）.
[5] 涂斌斌，et al. "一种使用自适应小波去噪和SIFT描述符的步态识别研究." 小型微型计算机系统 v.39.06（2018）：254-258.
[6] 王竣，and 王修晖. "特征融合的多视角步态识别研究." 中国计量大学学报 2（2017）.
[7] 马華兵. 基于机器学习和多视角信息融合的步态识别系统的研究. Diss. 西安理工大学，2008.
[8] 赵草原. 机器学习在可穿戴人体外骨骼系统步态识别中的应用研究. Diss. 电子科技大学.
[9] 姚健，and 张乾勇. "人体步态数据测量系统的设计与实现." 电子测量技术 08（2017）：189-193.
[10] 高云园，et al. "基于多源信息融合的膝上假肢步态识别方法." 仪器仪表学报 31.12（2010）：2682-2688.