论文部分内容阅读
摘要： 根据光场成像原理，对非聚焦型光场相机和聚焦型光场相机的成像原理和采样模式进行了分析，对比了两种光场成像系统的成像特点。针对不同类型光场相机的信息采样特点，推导了非聚焦型光场相机空域平移叠加重聚焦算法及聚焦型光场相机基础图像重构算法，并在MATLAB中对两种图像重聚焦算法进行了仿真验证，实验证明两种算法都可以有效获得任一景深清晰的像，可为光场成像技术的应用提供借鉴。
关键词：
光场成像； 图像重构； 重构算法； 景深
中图分类号： O 439文献标志码： Adoi： 10.3969/j.issn.10055630.2017.01.006
Simulation of the algorithms for the light field image rendering
SU Jinhui， JIN Yitao， LU Yidan， ZHANG Wei
（School of OpticalElectrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）
Abstract：
The detailed analyses has been done on the unfocused plenoptic camera and the focused plenoptic camera respectively，based on the imaging principle and the sampling modes.The characteristics of these two different light field imaging systems are compared.The spatial domain shiftandadd rendering algorithm of the unfocused plenoptic camera and the basic rendering algorithm of the focused plenoptic have been deduced according to their sampling mode.Then the algorithms are simulated by the software MATLAB.The effectiveness of the two rendering algorithms has been verified that capture the clear image at depths.This research could serve as reference for the application of the light field imaging.
Keywords： light field imaging； imaging rendering； rendering algorithm； depth of field
引言
光场成像由于获取了光辐射的完整分布，可以通过光场信息重构算法的数据处理手段计算出所需的对焦图像[12]。光场相机通过四维坐标系参数表征出空间内光辐射位置信息和方向信息，因此与传统相机的二维图像相比多出了两个自由度。相较于传统成像，光场成像的优势在于无需机械调焦，只需通过数据处理即可得到不同景深的清晰图像，由于可在重构之前对光辐射相位误差进行校正，从而能够消除几何像差，降低成像质量对于光学器件性能的依赖性。光场成像过程包括了光场数据的采集和光场数据转换为图像的过程。
光场的概念最初由Gershun提出，用来描述三维空间内光线的传输特性[34]。Adelson等提出用光线的三维坐标、光线传输方向、光线波长及时间多个参数表征光场函数[5]，而Levoy等将光场函数表示为四维，并提出用两个平行的平面对四维光场进行参数化表征[6]。在几何光学中，光场是指光线强度在三维空间中的位置分布和方向分布，可采用双平面参数来表征光场。现实中的成像系统都可以简化为两个平行的平面，将微透镜阵列加入到传统成像系统中，就可以对光场信息进行采集，通过对探测器上每个点所接受的光线进行积分，最终对所采集光场数据进行处理得到所需要的对焦图像[78]。为了提高光场信息采集的便捷性，Adelson等提出了一种光场相机的原理结构[9]，随后Ng等简化了之前光场相机设计[10]，设计出了手持式光场相机，即传统非聚焦型光场相机，再后来Lumsdaine等提出了改进的聚焦型光场相机的设计[11]。
本文对非聚焦型光场相机和聚焦型光场相机的成像原理和采样模式进行了详细的分析，在此基础上针对不同的光场成像模式，推导了适用的光场图像重构算法。
2.2用于聚焦型光场相机的基础图像重构算法
2.2.1
基础图像重构算法原理
基础图像重构算法是针对聚焦型光场相机的一种图像重构算法[13]，由于聚焦型光场相机的成像采集过程与非聚焦型光场相机存在差異，物体上每个点都被微透镜阵列所采集并被探测器接收，所以场景中单个物点被多个微透镜所采集。因此在图像重构过程中，需要提取每个微透镜图像中一定空间范围内的采样信息，以此来对一个角度方向进行图像重构。
若微透镜阵列中每个透镜之间的间距为μ，那么图像探测器接受到所对应微透镜采集图像像素范围为μ×μ，此时选取每个微透镜图像间图像信息连续且大小为M×M部分像素（其中M≤μ），将其定义为“图像块”尺寸，根据几何成像的原理，将选取的所有图像块进行拼接，可以重构出对应于不同景深的重聚焦图像，如图8所示。 另一种对该重构方法的解释是，若重构算法中图像块的大小为M×M，如图8所示，根据几何成像原理可得
μ=Mab
（9）
由式（9）可知，不同图像块的尺寸对应着不同的景深。由于对近景图像的重构能够获得每个微透镜成像范围内更大尺寸的像素，因此距离微透镜阵列较近的像面可以被重构出比距离微透镜阵列较远像面更高分辨率的图像[1415]。
由于在对某一固定图像块尺寸进行重构时，不同景深目标的边缘无法全部实现完美匹配，因此该算法最终重构出的图像只有某一选定景深目标是清晰的，其余景深目标均被模糊。被清晰重构的目标景深与重构时选择的图像块尺寸直接相关。
2.2.2
基础图像重构算法仿真
利用MATLAB模拟聚焦型光场相机成像模型，所建模型的光学系统参数如表2所示，分别对三个不同图像以不同景深进行成像，并使所得到的三幅图像相互之间不形成遮挡，最后通过将模拟成像的三个光场图像叠加得到包含多个景深信息的光场图像。
实验步骤如下：
（1） 在MATLAB中建立聚焦型光场相机成像模型，得到多景深目标的光场图像。
（2） 根据目标物距，根据式（9）计算出对应的图像块尺寸M，并对M做取整运算。
（3） 提取光场图像的微透镜图像，并记录其坐标位置。
（4） 以每个微透镜图像中心为中心原点，以M为大小进行图像块截取。
（5） 将所有微透镜图像中截取的图像块，按照所屬微透镜在光场图像中的坐标位置进行拼接，得到该景深聚焦情况下的重构图像。
根据图2聚焦型光场相机结构图在MATLAB中建立仿真成像模型，并在软件中对如图10所示的场景进行构建，分别取物距为a1=15 mm、a2=25 mm和a3=40 mm三个不同目标，坐标y=0的平面为聚焦型光场相机模型所在平面，经过仿真后得到光场图像如图11所示。
对包含多景深信息的光场图像使用基础图像重构算法，根据仿真图像所在不同物距及式（9）的变形式M=μb/a得到不同景深对应的适当图像块尺寸。以a=15 mm时为例，理想的图像块尺寸实际计算值为M=2.8像素，由于像素数必须取整，所以允许对实际运算值进行四舍五入，因此该物距条件下，图像块尺寸应为M=3像素。仿真实验中不同物距图像块大小如表3所示。
当a1=15 mm时，得到重构图像如图12所示。由图可观察到该物距图像的边缘得到了很好的匹配，实现了重聚焦的效果，同时在物距a2和a3上的目标物产生了模糊现象。
当a2=25 mm和a3=40 mm时，结果如图13所示。由于所选目标物所处位置较远，根据式（9）随着景深a变大，图像块尺寸M随之减小，使得最终重构图像分辨率较景深较浅的图像有所降低。由于图像块尺寸变小，重构图像内其他景深目标物边缘未能出现明显的模糊现象，故对远距离目标重构时，会产生类似于全景深聚焦的效果。
3结论
在非聚焦型光场相机中，探测器位于微透镜阵列的焦平面上，微透镜阵列对无穷远处的物体进行成像，将一个空间物点的所有角度方向信息采集于一个微透镜图像中，而一个角度方向的所有物点信息包含在所有微透镜图像中，即在非聚焦型光场相机中，子透镜图像中的一个像素表示来自光场内一个角度方向的信息，不同方向的子图像尺寸与微透镜阵列数相等，通过空域平移叠加算法，虽然能够重构图像，但其分辨率受到非聚焦光场相机自身器件的限制。而在聚焦型光场相机中，图像探测器不在微透镜阵列的焦面上，是在微透镜阵列对主镜头像方某一平面的共轭像面上，微透镜阵列可以从不同视角对该空间点进行采集，即一个空间点被多个微透镜所采集，空间与角度信息之间的转换不会受到微透镜阵列数的限制，并且由于与非聚焦型光场相机的微透镜阵列与主透镜位置放置的区别，聚焦型光场相机可以选用相对较大尺寸的微透镜，通过基础图像重构算法对微透镜图像进行图像块选取并拼接，所得到的重构图像尺寸远远高于微透镜阵列数。这样使得空间与角度信息之间可以更为灵活的转换，确保了光线信息得到更高效的利用，因此与非聚焦型光场相机相比，聚焦型光场相机可以拍摄出更高分辨率的图像。实验发现，针对两种不同模式的光场相机，两种光场重构算法都能得到不同景深的重聚焦图像，实现数字重聚焦功能，且聚焦型光场相机能够获得更高分辨率的图像。
参考文献：
[1]IVES F E.Parallax stereogram and process of making same：U.S，US725567A[P].19030414.
[2]LIPPMANN G.preuves réversibles.Photographies intégrales[J].Comptes Rendus de l’Académie des Sciences，1908，146：446451.
[3]GERSHUN A.The light field[J].Journal of Mathematics and Physics，1939，18（1/2/3/4）：51151.
[4]GERSHUN A.The light field[M].Cambridge：Massachusetts Institute of Technology，1939：1315.
[5]ADELSON E H，WANG J Y A.Single lens stereo with a plenoptic camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14（2）：99106.
[6]LEVOY M，HANRAHAN P.Light field rendering[C]∥Proceedings of the 23rd annual conference on computer graphics and interactive techniques.New York：ACM，1996：3142. [7]LEVOY M.Light fields and computational imaging[J].Computer，2006，39（8）：4655.
[8]BRADY D J.Optical imaging and spectroscopy[M].Hoboken：Wiley，2009：2552.
[9]ADELSON E H，BERGEN J R.The plenoptic function and the elements of early vision[M]∥LANDY F M，MOVSHON J A.Computational models of visual processing.Cambridge：MIT Press，1991：125.
[10]NG R，LEVOY M，BRDIF M，et al.Light field photography with a handheld plenoptic camera[R].Stanford Technical Report CTSR 200502，Palo Alto：Stanford University，2005：18901911.
[11]LUMSDAINE A，GEORGIEV T.The focused plenoptic camera[C]∥Proceedings of 2009 IEEE international conference on computational photography.San Francisco：IEEE，2009：18.
[12]NG R.Fourier slice photography[J].ACM Transactions on Graphics，2005，24（3）：735744.
[13]GEORGIEV T，LUMSDAINE A.Focused plenoptic camera and rendering[J].Journal of Electronic Imaging，2010，19（2）：021106.
[14]LUMSDAINE A，GEORGIEV T.Full resolution lightfield rendering[R].Adobe Technical Report，Adobe Systems，2008.
[15]張薇，郭鑫，尤素萍，等.混合式光场相机在聚焦与非聚焦模式下的超分辨重聚焦仿真（英文）[J].红外与激光工程，2015，44（11）：33843392.
（编辑：刘铁英）
关键词：
光场成像； 图像重构； 重构算法； 景深
中图分类号： O 439文献标志码： Adoi： 10.3969/j.issn.10055630.2017.01.006
Simulation of the algorithms for the light field image rendering
SU Jinhui， JIN Yitao， LU Yidan， ZHANG Wei
（School of OpticalElectrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）
Abstract：
The detailed analyses has been done on the unfocused plenoptic camera and the focused plenoptic camera respectively，based on the imaging principle and the sampling modes.The characteristics of these two different light field imaging systems are compared.The spatial domain shiftandadd rendering algorithm of the unfocused plenoptic camera and the basic rendering algorithm of the focused plenoptic have been deduced according to their sampling mode.Then the algorithms are simulated by the software MATLAB.The effectiveness of the two rendering algorithms has been verified that capture the clear image at depths.This research could serve as reference for the application of the light field imaging.
Keywords： light field imaging； imaging rendering； rendering algorithm； depth of field
引言
光场成像由于获取了光辐射的完整分布，可以通过光场信息重构算法的数据处理手段计算出所需的对焦图像[12]。光场相机通过四维坐标系参数表征出空间内光辐射位置信息和方向信息，因此与传统相机的二维图像相比多出了两个自由度。相较于传统成像，光场成像的优势在于无需机械调焦，只需通过数据处理即可得到不同景深的清晰图像，由于可在重构之前对光辐射相位误差进行校正，从而能够消除几何像差，降低成像质量对于光学器件性能的依赖性。光场成像过程包括了光场数据的采集和光场数据转换为图像的过程。
光场的概念最初由Gershun提出，用来描述三维空间内光线的传输特性[34]。Adelson等提出用光线的三维坐标、光线传输方向、光线波长及时间多个参数表征光场函数[5]，而Levoy等将光场函数表示为四维，并提出用两个平行的平面对四维光场进行参数化表征[6]。在几何光学中，光场是指光线强度在三维空间中的位置分布和方向分布，可采用双平面参数来表征光场。现实中的成像系统都可以简化为两个平行的平面，将微透镜阵列加入到传统成像系统中，就可以对光场信息进行采集，通过对探测器上每个点所接受的光线进行积分，最终对所采集光场数据进行处理得到所需要的对焦图像[78]。为了提高光场信息采集的便捷性，Adelson等提出了一种光场相机的原理结构[9]，随后Ng等简化了之前光场相机设计[10]，设计出了手持式光场相机，即传统非聚焦型光场相机，再后来Lumsdaine等提出了改进的聚焦型光场相机的设计[11]。
本文对非聚焦型光场相机和聚焦型光场相机的成像原理和采样模式进行了详细的分析，在此基础上针对不同的光场成像模式，推导了适用的光场图像重构算法。
2.2用于聚焦型光场相机的基础图像重构算法
2.2.1
基础图像重构算法原理
基础图像重构算法是针对聚焦型光场相机的一种图像重构算法[13]，由于聚焦型光场相机的成像采集过程与非聚焦型光场相机存在差異，物体上每个点都被微透镜阵列所采集并被探测器接收，所以场景中单个物点被多个微透镜所采集。因此在图像重构过程中，需要提取每个微透镜图像中一定空间范围内的采样信息，以此来对一个角度方向进行图像重构。
若微透镜阵列中每个透镜之间的间距为μ，那么图像探测器接受到所对应微透镜采集图像像素范围为μ×μ，此时选取每个微透镜图像间图像信息连续且大小为M×M部分像素（其中M≤μ），将其定义为“图像块”尺寸，根据几何成像的原理，将选取的所有图像块进行拼接，可以重构出对应于不同景深的重聚焦图像，如图8所示。 另一种对该重构方法的解释是，若重构算法中图像块的大小为M×M，如图8所示，根据几何成像原理可得
μ=Mab
（9）
由式（9）可知，不同图像块的尺寸对应着不同的景深。由于对近景图像的重构能够获得每个微透镜成像范围内更大尺寸的像素，因此距离微透镜阵列较近的像面可以被重构出比距离微透镜阵列较远像面更高分辨率的图像[1415]。
由于在对某一固定图像块尺寸进行重构时，不同景深目标的边缘无法全部实现完美匹配，因此该算法最终重构出的图像只有某一选定景深目标是清晰的，其余景深目标均被模糊。被清晰重构的目标景深与重构时选择的图像块尺寸直接相关。
2.2.2
基础图像重构算法仿真
利用MATLAB模拟聚焦型光场相机成像模型，所建模型的光学系统参数如表2所示，分别对三个不同图像以不同景深进行成像，并使所得到的三幅图像相互之间不形成遮挡，最后通过将模拟成像的三个光场图像叠加得到包含多个景深信息的光场图像。
实验步骤如下：
（1） 在MATLAB中建立聚焦型光场相机成像模型，得到多景深目标的光场图像。
（2） 根据目标物距，根据式（9）计算出对应的图像块尺寸M，并对M做取整运算。
（3） 提取光场图像的微透镜图像，并记录其坐标位置。
（4） 以每个微透镜图像中心为中心原点，以M为大小进行图像块截取。
（5） 将所有微透镜图像中截取的图像块，按照所屬微透镜在光场图像中的坐标位置进行拼接，得到该景深聚焦情况下的重构图像。
根据图2聚焦型光场相机结构图在MATLAB中建立仿真成像模型，并在软件中对如图10所示的场景进行构建，分别取物距为a1=15 mm、a2=25 mm和a3=40 mm三个不同目标，坐标y=0的平面为聚焦型光场相机模型所在平面，经过仿真后得到光场图像如图11所示。
对包含多景深信息的光场图像使用基础图像重构算法，根据仿真图像所在不同物距及式（9）的变形式M=μb/a得到不同景深对应的适当图像块尺寸。以a=15 mm时为例，理想的图像块尺寸实际计算值为M=2.8像素，由于像素数必须取整，所以允许对实际运算值进行四舍五入，因此该物距条件下，图像块尺寸应为M=3像素。仿真实验中不同物距图像块大小如表3所示。
当a1=15 mm时，得到重构图像如图12所示。由图可观察到该物距图像的边缘得到了很好的匹配，实现了重聚焦的效果，同时在物距a2和a3上的目标物产生了模糊现象。
当a2=25 mm和a3=40 mm时，结果如图13所示。由于所选目标物所处位置较远，根据式（9）随着景深a变大，图像块尺寸M随之减小，使得最终重构图像分辨率较景深较浅的图像有所降低。由于图像块尺寸变小，重构图像内其他景深目标物边缘未能出现明显的模糊现象，故对远距离目标重构时，会产生类似于全景深聚焦的效果。
3结论
在非聚焦型光场相机中，探测器位于微透镜阵列的焦平面上，微透镜阵列对无穷远处的物体进行成像，将一个空间物点的所有角度方向信息采集于一个微透镜图像中，而一个角度方向的所有物点信息包含在所有微透镜图像中，即在非聚焦型光场相机中，子透镜图像中的一个像素表示来自光场内一个角度方向的信息，不同方向的子图像尺寸与微透镜阵列数相等，通过空域平移叠加算法，虽然能够重构图像，但其分辨率受到非聚焦光场相机自身器件的限制。而在聚焦型光场相机中，图像探测器不在微透镜阵列的焦面上，是在微透镜阵列对主镜头像方某一平面的共轭像面上，微透镜阵列可以从不同视角对该空间点进行采集，即一个空间点被多个微透镜所采集，空间与角度信息之间的转换不会受到微透镜阵列数的限制，并且由于与非聚焦型光场相机的微透镜阵列与主透镜位置放置的区别，聚焦型光场相机可以选用相对较大尺寸的微透镜，通过基础图像重构算法对微透镜图像进行图像块选取并拼接，所得到的重构图像尺寸远远高于微透镜阵列数。这样使得空间与角度信息之间可以更为灵活的转换，确保了光线信息得到更高效的利用，因此与非聚焦型光场相机相比，聚焦型光场相机可以拍摄出更高分辨率的图像。实验发现，针对两种不同模式的光场相机，两种光场重构算法都能得到不同景深的重聚焦图像，实现数字重聚焦功能，且聚焦型光场相机能够获得更高分辨率的图像。
参考文献：
[1]IVES F E.Parallax stereogram and process of making same：U.S，US725567A[P].19030414.
[2]LIPPMANN G.preuves réversibles.Photographies intégrales[J].Comptes Rendus de l’Académie des Sciences，1908，146：446451.
[3]GERSHUN A.The light field[J].Journal of Mathematics and Physics，1939，18（1/2/3/4）：51151.
[4]GERSHUN A.The light field[M].Cambridge：Massachusetts Institute of Technology，1939：1315.
[5]ADELSON E H，WANG J Y A.Single lens stereo with a plenoptic camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14（2）：99106.
[6]LEVOY M，HANRAHAN P.Light field rendering[C]∥Proceedings of the 23rd annual conference on computer graphics and interactive techniques.New York：ACM，1996：3142. [7]LEVOY M.Light fields and computational imaging[J].Computer，2006，39（8）：4655.
[8]BRADY D J.Optical imaging and spectroscopy[M].Hoboken：Wiley，2009：2552.
[9]ADELSON E H，BERGEN J R.The plenoptic function and the elements of early vision[M]∥LANDY F M，MOVSHON J A.Computational models of visual processing.Cambridge：MIT Press，1991：125.
[10]NG R，LEVOY M，BRDIF M，et al.Light field photography with a handheld plenoptic camera[R].Stanford Technical Report CTSR 200502，Palo Alto：Stanford University，2005：18901911.
[11]LUMSDAINE A，GEORGIEV T.The focused plenoptic camera[C]∥Proceedings of 2009 IEEE international conference on computational photography.San Francisco：IEEE，2009：18.
[12]NG R.Fourier slice photography[J].ACM Transactions on Graphics，2005，24（3）：735744.
[13]GEORGIEV T，LUMSDAINE A.Focused plenoptic camera and rendering[J].Journal of Electronic Imaging，2010，19（2）：021106.
[14]LUMSDAINE A，GEORGIEV T.Full resolution lightfield rendering[R].Adobe Technical Report，Adobe Systems，2008.
[15]張薇，郭鑫，尤素萍，等.混合式光场相机在聚焦与非聚焦模式下的超分辨重聚焦仿真（英文）[J].红外与激光工程，2015，44（11）：33843392.
（编辑：刘铁英）