基于深度数据的人体视频编辑

被引量 : 0次 | 上传用户:ytli1981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着相机的不断普及,图像与视频的获取越来越简单,大量图像与视频数据的涌现也使得越来越多的研究者关注图像与视频的处理Photoshop等商业软件的成功也表示传统的图像处理已经相对成熟,但它们的操作都是非语义的,即处理图像的时候并没有考虑图像本身的内容.最近几年来,越来越多的研究者关注于基于内容的图像以及视频的处理,即针对图像或图像中特定的内容进行有语义的处理.而其中,相当多的文章利用重建出的粗糙的三维数据辅助进行二维的处理,如进行视频的多视角浏览,视频中人物的体型变形等。本文主要关注于视频编辑的操作,即通过简单地编辑一帧图像达到编辑所有视频帧的效果.传统的这种编辑操作都是通过逐帧跟踪的方法得到视频中像素点的路径,并将编辑通过视频路径进行传递.但传统的方法对于出现像素点遮挡后又出现的情况时便出现路径跟踪丢失的问题.为了得到全局一致的路径,我们第一次提出将每一帧图像都与模板帧进行注册并对应.而在进行变化较大的两帧图像之间的注册时,三维信息是必不可少的,我们利用最近微软开发出的Kinect摄像机拍摄到的三维深度数据辅助进行两帧图像之间的对应.考虑到Kinect也可以实时捕捉到人物的骨架信息,我们首先基于人体数据库以及每一帧的骨架信息从三维深度数据中重建出人体模型.然后我们基于人体模型对大变化的两帧非刚性点云进行注册得到初始对应,并基于一种改进的光流的方法利用图像信息对其进行优化,最后我再对整体的路径进行一次时空连续性的优化.文章的最后,我们给出了各种编辑结果,可以看出我们的算法对于简单纹理以及复杂姿势的视频都能给出正确的结果.本文的主要贡献在于:一,我们第一次基于人体数据库从Kinect拍摄到的深度数据中自动地快速地为每一帧重建出了三维人体模型;二,我们提出了一种基于人体模型的非刚性点云注册的方法,既不需要重建精确的模板模型也可以解决两帧点云变化很大的情况;三,我们第一次将深度点云数据与图像信息结合,解决了以往的方法无法解决的全局一致路径跟踪的问题.
其他文献
随着我国经济的快速发展,快递业也得到了快速的发展。我国发展快递业已经30年,现在的格局已经变成了外资企业、国有企业、民营企业三足鼎立的情况。不断扩大的快递业务需求,
论文针对飞行员救生安全问题,基于弹射座椅机械系统理论,结合理论研究方法、试验测试方法和数值模拟仿真方法,从航空弹射座椅全系统出发,系统研究座椅安全救生新技术。国内外
经济社会的快速发展导致电力需求总量迅猛增加,能耗产生的环境问题也日益突出。为了应对电力行业在新形势下面临的严峻挑战,世界各地掀起了智能电网研究热潮。供需互动是智能
地图是"地理学的第二语言",在高中地理教学中,很多教师容易忽视地图册的作用,没有正确发挥地图册的价值。其实,地图是地理知识一种形象、直观、综合的表达,也是地理学科独有
自1990年以来,新加坡建屋发展局持续翻新旧的公共住宅(组屋),以应对其物理性的老化和居民构成的改变。一方面从邻里、楼栋和住宅内部3个层面切实改善了居住环境,达到新区的标
目的探讨新疆维吾尔自治区肿瘤专科护士培训基地的建立和实践效果。方法建立新疆维吾尔自治区肿瘤专科护士培训基地,对179名从事肿瘤护理的护士进行培训。结果 179名学员理论
SIP (Session Initiation Protocol,会话发起协议)是由IETF (Internet Engineering Task Force,互联网工程任务组)定义的多媒体通讯系统框架协议之一,该协议是一个基于文本的
电气化铁路机车的驱动功率约为8000~10000 kW,通过一个受电弓与接触线的滑动接触将其传递到行驶的列车。受电弓/接触线系统由于工作条件恶劣,运行过程中的拉弧与温升导致受电
由于脚手架的构建和使用不当,造成了许多脚手架垮塌事故,发生了大量的人身伤亡和设备损坏事故,对人们的生命和财产造成了不可估量的损失。列举脚手架垮塌案例血的教训,分析脚
随着近年来我国经济的快速发展,对城市基础设施建设的需求也越来越大,因此资金的需求量也越来越大。但传统的建设模式既缺乏效率、又受资金的制约,已经严重影响和制约了我国