论文部分内容阅读
复用成像是指用单个传感器实现同时采样多个成像维度(如,空间、时间、光谱和明度),而具体需要同时采样哪些成像维度是应用相关的。复用成像的实例包括使用滤色阵列(color filter array,CFA)的彩色成像,使用空域变曝光(spatially varying exposures,SVE)技术的高动态范围(high dynamic range,HDR)成像,以及多幅图像超分辨率(super-resolution)等。在过去的几十年间,该问题的研究已经取得了较大的进展。然而,仍有一些问题需要进一步考虑。第一,用于复用成像的传感器大多使用正方形像素和规则布局。然而,以往的研究表明动物视网膜的不规则布局有利于得到高质量图像。所以,使用不规则像素布局进行复用成像值得研究。第二,大多数针对复用成像的像素设计忽略了后续重建算法的特性。为了增强某一类重建算法的性能,可以专门针对该类算法设计像素分配方式,并在设计过程中充分考虑重建过程。本文针对上述问题进行研究,取得了以下创新性的成果:(1)本文提出彭罗斯(Penrose)像素布局用于图像去马赛克(demosaicking)问题,同时提出Ammann-Beenker像素布局用于图像超分辨率和去马赛克问题。这两个像素布局都是非周期且不规则的,可以均匀三着色,并且仅使用两种形状的像素。这些特性使得它们在制造成像传感器方面优于其他不规则像素布局。我们在图像超分辨率和去马赛克问题上测试这两个不规则像素布局的性能。实验结果表明彭罗斯和Ammann-B eenker像素布局优于正方形像素布局。(2)本文提出彭罗斯像素布局用于基于SVE技术的HDR成像。这使得彭罗斯像素布局在曝光和像素分配这两个方面都是非周期的。由于彭罗斯像素布局是不规则和非周期的,现有的HDR重建方法不再适用。我们以高斯混合模型(Gaussian mixture model,GMM)为正则化项,开发出一个新的HDR重建方法。大量实验表明彭罗斯像素布局有利于缓解重建HDR图像分辨率降低的问题。(3)基于频域结构,本文提出一个针对频域选择去马赛克算法的自动CFA设计方法。然后,我们将该方法扩展用于设计使用全色像素的高光敏感CFA.该设计方法使用一个数学模型进行求解,并且是全自动的。具体地,我们将使用全色像素的高光敏感CFA设计形式化为多目标优化问题,它同时最大化对光谱混叠的健壮性和全色像素的比例。在低光照和正常光照数据集上的实验结果验证了所提出设计方法的优越性。(4)给定一个合适的字典,本文提出一个有理论保证的针对稀疏表示去马赛克算法的CFA设计方法。我们将CFA设计看作包含CFA物理可制造约束的互相干性(mutual coherence)最小化问题。这些约束导致已有的求解互相干性最小化的方法不再适用。基于广义分式规划,我们提出一个具有收敛性保证的求解该问题的方法。在标准数据集上的大量实验验证了该设计方法的优越性。