彩色图像通常是采用覆盖有色彩滤波阵列（Color Filter Array,CFA）的CCD/CMOS传感器完成采集,通过这种空间采样方式采集到的CFA图像不仅缺少完整的颜色信息,而且还夹杂着传感器测量噪声,从而严重影响人类视觉系统从上述CFA图像中获取有效信息。因此,需进行包含图像去噪和图像去马赛克的CFA图像复原处理,将其还原成反映真实场景纹理和色彩的RGB图像才能有效的应用于国防安全、AIo T和安防监控等重要领域。然而现有传统方法在CFA图像复原过程中难以保持场景细节信息而且易于引入伪色,新兴的深度学习方法虽复原性能更好,但因参数量和计算量巨大,难以满足硬件部署时严苛的功耗和延时要求。鉴于此,本文深入研究了性能更高的轻量化CFA图像复原神经网络模型并设计了与之适配的硬件加速系统。本文结合单CCD/CMOS传感器的成像原理,在分析CFA图像产生机理的基础上,建立了CFA图像复原模型,并提出了结合分组自膨胀卷积的轻量化联合去噪全马赛克网络模型JDD-GADCNN。由于所提出的分组自膨胀卷积可根据场景自适应调整卷积的空间采样位置,其特征表达能力更强,得益于此,JDD-GADCNN模型能够更为精准的抑制噪声并还原出真实色彩的RGB图像。基于合成噪声和真实噪声的CFA图像复原实验结果表明,相比于传统CFA图像复原方法,本文方法复原的图像质量得到显著提升,而相比于经典深度学习CFA图像复原方法,本文方法在保持同等复原质量下,大幅降低了模型的参数量和计算量。为了在嵌入式移动硬件平台上高效部署JDD-GADCNN模型,本文还对算法模型进行了混合精度量化调控,在保证模型性能的前提下进一步降低了卷积的计算复杂度和存储需求。本文针对混合精度量化后的网络模型,设计了高性能、低功耗且可实现灵活配置的硬件加速系统。首先,提出了基于GEMM的统一四核Conv Engine单元,通过基于DRU的分组自膨胀卷积控制逻辑和Pointwise卷积控制逻辑对四核Conv Engine单元进行控制即可分时复用四核Conv Engine单元,以实现多种大小卷积核的标准卷积、自膨胀卷积、分组卷积以及Pointwise卷积的计算。其次,在四核Conv Engine单元流水线后方设计了Float Core对卷积结果进行带宽转换并完成Qtz-BN的浮点数据计算。此外,本文还设计了硬件加速系统的任务专用指令集,并基于此,设计了主从控制逻辑单元,通过控制数据调度并配置和调用上述电路单元组成的单层运算单元,以实现完整的网络模型计算。最后,基于FPGA的原型验证实验结果证实,所设计的硬件加速系统正确的运行了JDD-GADCNN模型并获得了更高的计算效率,处理FHD图像的帧频可达到29.5 FPS,满足了实时处理要求,帧率能效比达到了Nvidia GTX1080Ti GPU的29.94倍。不仅如此,本文设计的硬件加速系统的吞吐率达到了978 GOPs,能效比是现有的硬件加速器的3.5倍以上。本文的研究成果可进一步设计为专用集成电路并部署于CCD/CMOS传感器后端代替传统的图像去噪和图像去马赛克电路,使其获得更高质量的图像。