论文部分内容阅读
摘要：基于FPGA的全车影像系统选取Xilinx公司的Spartan3A-DSP（XC3SD1800A）FPGA作为核心处理器，该系统将多路CMOS视频信号采集到FPGA内进行视频格式转换、Scaler处理、鸟瞰转换、多路视频合成等。本文重点介绍系统的硬件组成、系统功能框架及工作原理。
关键词：FPGA 全车影像
1、前言
随着FPGA 制作工艺的发展及成本的降低，其在成本高度敏感的汽车电子领域得到越来越广泛的应用。FPGA具有高速并行处理能力，在进行算法简单且有大量数据重复运算的处理上，FPGA有其无可比拟的速度优势，因此在实时性要求较高的视频图像实时处理应用中FPGA成为最佳选择之一。同时FPGA具有高度可编程性，具有极大的灵活性，在固有的硬件平台基础上可以通过改进代码来提升系统性能，避免因重新设计PCB带来不可确定的风险[2]。因此FPGA在汽车电子视频系统中的应用将会有极大发展空间。
视频图像处理已经是一门比较成熟的二维信号处理技术，现已被广泛应用于通信、生物医学、工业检测和军事等各个方面。在高端汽车电子应用中涉及到大量图像视频处理，例如汽车全车影像系统、夜视系统、车道偏离检测、雷达障碍物检测等。下面将以基于FPGA的全车影像系统设计来阐述FPGA在视频处理领域中的灵活应用。
2、基于FPGA的全车影像系统总体方案
图1 全车影像系统框图
该系统中主要由摄像头采集传输模块、摄像头数据接收模块以及视频处理模块、视频显示模块等几部分组成，系统框图如图1所示。摄像头采集传输模块由CMOS摄像头和LVDS转换器组成，其中摄像头部分选用数字格式输出的OV9710摄像头，LVDS转换器为MAXIM公司的MAX9257；摄像头数据接收模块以及视频处理模块由FPGA，ARM，DDR2 SDRAM，PROM，NOR flash等组成。Xilinx公司的FGPA作为核心处理芯片；ARM为ST公司的STM32F103C，通过ARM的串口通信对四个摄像头进行基本配置；LVDS解串器采用MAXIM公司的MAX9258作为LVDS串行转并行输出的芯片；DDR2 SDRAM采用美光的MT47H32M16用作帧缓存芯片；PROM采用Xilinx专用的芯片作为FPGA的配置ROM；NOR flash存储汽车鸟瞰图像信息；显示模块为TFT驱动接口。
3、硬件工作原理
系统工作前需要对CMOS摄像头进行相应的配置，以输出符合系统设计要求的数据格式。该系统中采用ST公司的STM32作为摄像头配置MCU，因MA9258转换的配置接口为串行口，因此使用STM32的串行口进行配置。由于四路摄像头的配置信息是完全一样的，STM32的串行口通过PFGA复制为四路串行口输出，分别连接到四路MAX9258的串行口上，在系统上电时对四路摄像头同时进行配置。
在配置完成后，每个摄像头输出8位像素、行同步信号、场同步信号以及像素时钟到MAX9257，再由MAX9257转换为差分信号（LVDS）进行长距离传输；差分信号传输通过双绞线传到MAX9258，由其将差分信号恢复为摄像头的8位像素数据、行同步信号、场同步信号以及像素时钟信号；四路并行视频信号传输至FPGA进行视频处理，处理完的数据以Pipeline方式传输到DDR2 SDRAM控制器，由控制器将视频信号写入到DDR2 SDRAM中进行帧缓存。DDR2控制器的运行速度可达到125MHZ～133MHZ的工作频率，DDR2 SDRRAM采用双沿读写控制，因此双沿读写速度可达到250MHZ～266MHZ，因此有足够的带宽进行读写操作。TFT驱动模块以640X480@60hz的VGA时序读取DDR2 SDRAM的视频数据，通过LVDS送到TFT上进行显示。
4、结论
基于FPGA的全车影像系统设计来体现了FPGA具有良好的并行处理能力，能够极大的提升数据处理的吞吐能力。在视频处理中特别是在预处理阶段需要进行大量简单但有极度消耗时间的处理，很多预处理算法需要进行基于模板的运算，如Bayer转RGB，广角摄像头畸变校正、鸟瞰处理、滤波处理等。在这些场合，FPGA能够充分利用其并行处理的能力，对模板快速进行运算，为后端的处理释放更多的带宽进行高级算法处理。因此在汽车电子中处理高速数据的场合，FPGA将会得到更多的应用。
参考文献：
[1]朱虹，孙卫真，王竹，何积铨.基于FPGA的医学影像实时降噪系统的设计[J].微计算机信息，2006，22（12）：128-130.
[2]卿敏，沈业兵，安建平.用FPGA实现数字匹配滤波器的优化方法[J].微计算机信息，2004，20（11）：118-119.
[3]张梦麟，李念强，李萍.基于AD7677和MEGA64高速数据采集系统的设计[J].计算机应用，2008，27（4）：45-47.
关键词：FPGA 全车影像
1、前言
随着FPGA 制作工艺的发展及成本的降低，其在成本高度敏感的汽车电子领域得到越来越广泛的应用。FPGA具有高速并行处理能力，在进行算法简单且有大量数据重复运算的处理上，FPGA有其无可比拟的速度优势，因此在实时性要求较高的视频图像实时处理应用中FPGA成为最佳选择之一。同时FPGA具有高度可编程性，具有极大的灵活性，在固有的硬件平台基础上可以通过改进代码来提升系统性能，避免因重新设计PCB带来不可确定的风险[2]。因此FPGA在汽车电子视频系统中的应用将会有极大发展空间。
视频图像处理已经是一门比较成熟的二维信号处理技术，现已被广泛应用于通信、生物医学、工业检测和军事等各个方面。在高端汽车电子应用中涉及到大量图像视频处理，例如汽车全车影像系统、夜视系统、车道偏离检测、雷达障碍物检测等。下面将以基于FPGA的全车影像系统设计来阐述FPGA在视频处理领域中的灵活应用。
2、基于FPGA的全车影像系统总体方案
图1 全车影像系统框图
该系统中主要由摄像头采集传输模块、摄像头数据接收模块以及视频处理模块、视频显示模块等几部分组成，系统框图如图1所示。摄像头采集传输模块由CMOS摄像头和LVDS转换器组成，其中摄像头部分选用数字格式输出的OV9710摄像头，LVDS转换器为MAXIM公司的MAX9257；摄像头数据接收模块以及视频处理模块由FPGA，ARM，DDR2 SDRAM，PROM，NOR flash等组成。Xilinx公司的FGPA作为核心处理芯片；ARM为ST公司的STM32F103C，通过ARM的串口通信对四个摄像头进行基本配置；LVDS解串器采用MAXIM公司的MAX9258作为LVDS串行转并行输出的芯片；DDR2 SDRAM采用美光的MT47H32M16用作帧缓存芯片；PROM采用Xilinx专用的芯片作为FPGA的配置ROM；NOR flash存储汽车鸟瞰图像信息；显示模块为TFT驱动接口。
3、硬件工作原理
系统工作前需要对CMOS摄像头进行相应的配置，以输出符合系统设计要求的数据格式。该系统中采用ST公司的STM32作为摄像头配置MCU，因MA9258转换的配置接口为串行口，因此使用STM32的串行口进行配置。由于四路摄像头的配置信息是完全一样的，STM32的串行口通过PFGA复制为四路串行口输出，分别连接到四路MAX9258的串行口上，在系统上电时对四路摄像头同时进行配置。
在配置完成后，每个摄像头输出8位像素、行同步信号、场同步信号以及像素时钟到MAX9257，再由MAX9257转换为差分信号（LVDS）进行长距离传输；差分信号传输通过双绞线传到MAX9258，由其将差分信号恢复为摄像头的8位像素数据、行同步信号、场同步信号以及像素时钟信号；四路并行视频信号传输至FPGA进行视频处理，处理完的数据以Pipeline方式传输到DDR2 SDRAM控制器，由控制器将视频信号写入到DDR2 SDRAM中进行帧缓存。DDR2控制器的运行速度可达到125MHZ～133MHZ的工作频率，DDR2 SDRRAM采用双沿读写控制，因此双沿读写速度可达到250MHZ～266MHZ，因此有足够的带宽进行读写操作。TFT驱动模块以640X480@60hz的VGA时序读取DDR2 SDRAM的视频数据，通过LVDS送到TFT上进行显示。
4、结论
基于FPGA的全车影像系统设计来体现了FPGA具有良好的并行处理能力，能够极大的提升数据处理的吞吐能力。在视频处理中特别是在预处理阶段需要进行大量简单但有极度消耗时间的处理，很多预处理算法需要进行基于模板的运算，如Bayer转RGB，广角摄像头畸变校正、鸟瞰处理、滤波处理等。在这些场合，FPGA能够充分利用其并行处理的能力，对模板快速进行运算，为后端的处理释放更多的带宽进行高级算法处理。因此在汽车电子中处理高速数据的场合，FPGA将会得到更多的应用。
参考文献：
[1]朱虹，孙卫真，王竹，何积铨.基于FPGA的医学影像实时降噪系统的设计[J].微计算机信息，2006，22（12）：128-130.
[2]卿敏，沈业兵，安建平.用FPGA实现数字匹配滤波器的优化方法[J].微计算机信息，2004，20（11）：118-119.
[3]张梦麟，李念强，李萍.基于AD7677和MEGA64高速数据采集系统的设计[J].计算机应用，2008，27（4）：45-47.