从二维图像序列中恢复出物体的三维结构信息和运动信息一直以来都是三维重建领域的一个热点问题。现实世界中很多物体都是非刚性的,这些非刚性体的运动信息除了旋转和平移之外,还具有“变形”这一特征,这意味着物体每一帧的结构都发生了变化,因此,通过运动信息求解非刚性体三维结构的问题变得相对复杂。近年来,虽然很多学者都针对这一难题展开了研究并且提出了一些方法,但是仍然存在以下两个问题:1、其重建对象大都是稀疏的特征点,并不能够模拟物体复杂的非刚性变形以及恢复其细节信息,局限性较大并且应用范围较小;2、该方法图像序列获取的方式是相机单侧采集,其恢复出来的仅仅是目标物体单个方向的结构信息,三维信息并不完整。基于上述问题,本文采用 NRSFM(Non-Rigid Structure From Motion)方法得到人体单侧稠密点云,并融合SMPL(Skinned Multi-Person Linear)模型开展对动态人体序列完成三维重建的研究。具体地:(1)图像序列中稠密像素点的匹配。作为NRSFM算法的第一步,图像序列帧间像素点匹配的结果直接会影响到三维重建的效果。针对相机连续采集的一组人体运动的图像序列,利用物体在二维图像中点的“轨迹高度相关”这一特性解决多帧光流问题,完成稠密像素点的匹配。通过假设二维图像像素点的轨迹在一个低维线性子空间附近来建立这个性质的模型,即将二维轨迹解释为三维基形状的线性组合的投影,或者解释为二维运动基的线性组合。首先,选取图像序列中任意一帧作为参考帧,然后估计参考帧中每个可见点在整个图像序列中的二维轨迹,找到参考帧中每个像素点在剩余子序列中的位置,最后将匹配好的人体运动的每一帧稠密像素点按顺序写入测量矩阵W中,得到NRSFM算法的输入。该方法通过时间信息能够预测特定帧中不可见点的位置,从而可以减小由于自遮挡或者外部遮挡所带来的影响。(2)基于NRSFM的三维重建方法研究。首先研究了具有对偶关系的两种NRSFM算法,第一种是形状基表示法,在形状空间中,将物体的三维结构描述成K个形状基的线性组合;第二种是轨迹基表示法,在轨迹空间中,将物体的三维结构描述成K个轨迹基的线性组合。然后通过数据集中的人体运动数据对上述两种方法进行验证,结果表明:形状基表示法要想恢复每一帧的结构,需要重新估计序列帧,运算量大,且严重影响重建效果;轨迹基表示法由于提前定义了轨迹基,整个过程只需要估计系数,重建精度较高。最后基于(1)中人体运动的测量矩阵W,通过轨迹基表示方法得到了连续帧的人体单侧点云。(3)融合SMPL模型的人体三维重建。提出了一种单侧点云融合SMPL模型对人体进行三维重建的一种方法,该方法的本质就是寻找到合适的体型参数β和姿势参数θ。具体地,在(2)中基于轨迹基表示法得到连续帧的人体单侧点云之后,将重建的人体单侧点云结合SMPL模型构造优化函数,使得人体模型与输入的单侧点云之间达到最优配准,求解出体型参数和姿势参数,最后将求解出的体型和姿势参数输入SMPL中生成动态的人体三维模型序列。实验部分为了定量的比较本文方法与HMR方法的重建的效果,基于RGBD融合SFS(Shape From Shading)方法建立了标准的人体三维模型,再将上述两种方法重建的人体模型分别与标准模型进行配准计算,最后得出本文重建效果更好的结论。