论文部分内容阅读
随着视频图像技术的不断进步,传统监控视频的解决方案越来越不能满足人们的需求。传统监控系统存在多视角、界面凌乱等缺点。同时,VR技术是近年来比较火热的词汇,而该技术配套的媒体信号源主要靠计算机建模实现,发展相对缓慢。为了克服上述难题,提升监控技术水平,实时全景视频拼接应运而生。该技术可将传统多视角监控转化为单一视角的全景监控,同时可作为VR设备的媒体支持,为其发展起到推波助澜的作用。基于计算机架构的纯软件视频拼接,实时性不高,通道受限。本文研究基于FPGA实现并行架构视频拼接技术,满足实时性要求。拼接视频的理论包括图像间的配准、图像几何的校正和图像间的融合。图像配准采用SIFT算法找到图像间的几何关系,得到配准参数。本文将图像拼接算法分解实现,上位机PC端完成图像配准,将重复且计算量大的部分交给FPGA硬件平台,完成图像采集、几何变换、图像间融合及显示,加速拼接算法。本文围绕多摄像头全景视频拼接技术进行研究,并介绍一种上位机与FPGA硬件平台协同控制的实时全景拼接系统架构。首先,简要介绍全景图像拼接的研究背景和现状,以及实时图像拼接的基础理论,并用MATLAB软件完成算法仿真验证。然后,根据市面上的视频拼接案例分析,基于FPGA提出一种实时全景视频拼接系统的设计方案,对其中各个部分进行功能描述。接着基于Quartus软件和modelsim软件用硬件描述语言,完成各模块的功能设计和仿真,主要包括图像采集及RGB格式转换、SDRAM图像存储、SSRAM几何校正、图像加权融合及VGA视频显示。最后,采用INTEL公司的FPGA芯片(CycloneⅣEP4CE115F29C7)对两路视频信号实时拼接进行了硬件验证,包括板级调试、时序分析和逻辑优化。结果表明,本设计可将两路640×480视频信号实时拼接输出1280×768@60Hz分辨率的全景视频;所占用的FPGA资源包括逻辑资源LE6088个,存储单元219520比特,9比特嵌入式乘法器34个,PLL锁相环2个。此外,本文还基于MSE、PSNR和SSIM三方面指标对拼接融合结果客观评价。本方案达到良好的全景视频拼接效果,满足视频实时性要求,且占用的硬件资源少,具有一定的推广和应用价值。