视觉是人类感知世界和收集信息的最重要方式。研究表明,人类获取的信息中有80%以上是视觉信息。随着近年来信息、网络、显示等技术的快速发展,图像和视频应用正变得越来越普遍,并在生活中发挥着越来越重要的作用。当前,视频的产生、传输和显示无时无刻不在发生,由于视频数据量一般都非常大,视频流量已经成为网络上最大的负载。而且,人们对更高质量视频的需要仍然迫切,例如从高清晰度视频(HD)到超高清晰度视频(UHD)、甚至更高分辨率(8K)以及立体视频、高动态范围(HDR)视频、360度视频等。这些视频应用都对视频传输和存储构成了巨大挑战。作为视频应用中的关键技术之一,视频编码(也称为视频压缩)通过预测技术消除视频中的冗余,从而实现减少视频数据量的目的。随着各种新型视频应用的不断出现和快速发展,研究视频编码相关技术仍然具有重要意义。本文主要针对视频编码和处理中的几个关键问题进行了研究,主要内容如下:(1)基于多视点视频编码框架,本文研究了立体3D视频编码和感知视频编码技术,提出了基于双目视差信息的感知立体视频编码方案。通过分析HVS立体感知特性与双目视差信息之间的关系,讨论了基于立体视差的视觉掩蔽效应。针对立体视频编码,提出了一种基于混合感知模型的立体视频编码方案,结合双目视差掩蔽效应和时空掩蔽效应,以去除立体视频中的视觉冗余信息。首先,采用基于分割的立体匹配方法来估计视差图,根据视差信息计算视差阈值并结合时空视觉模型阈值,得到用于立体视频编码的混合阈值。然后,在MVC编码器中使用混合阈值调整残差信号以减少立体视觉冗余。实验结果表明所提出的立体视频编码方法提升了MVC编码器的性能。(2)作为视频编码领域的一项新技术,本文还研究了高动态范围(HDR)和宽色域(WCG)视频编码。HDR/WCG视频编码框架中采用了色度下采样和上采样来提高编码效率,但这会导致视频视觉质量下降。本文基于HDR/WCG视频编码框架中的色度采样技术,提出了用于HDR视频编码的自适应加权色度下采样和亮度参考色度上采样。考虑到ICtCp在亮度和色度之间具有更好的去相关性,采用ICtCp颜色空间来防止颜色伪影。针对色度下采样,利用相邻像素之间的差异来保留更多图像纹理和细节;针对色度上采样,考虑亮度和色度之间的相关性,利用未进行过下采样的亮度数据来辅助色度上采样,以减少采样引入的失真。对提出的方法进行了主观和客观实验评估,实验结果表明该方法可以提高高动态范围视频编码的效率。(3)HEVC编码器计算复杂度高,在复杂度受限的平台上直接实现比较困难。针对此问题,本文研究了 HEVC编码器的低复杂度算法。基于人类视觉感知特征,提出了一种基于人眼视觉一致性的编码单元复杂度测量模型。通过分析该模型与帧内编码中编码单元(CU)深度的关系,提出了基于视觉一致性复杂度的HEVC帧内编码CU深度快速决策方法。具体来说,由于图像中视觉一致性高的区域通常呈现简单的结构,编码时更可能会选择较大尺寸的CU划分。相反,视觉一致性弱的区域通常具有更复杂的纹理结构,这些区域更倾向于选择小尺寸的CU划分。此外,考虑到人眼视觉掩蔽效应,人眼对于视觉一致性弱的区域存在的失真具有更高的可容忍程度,即人眼对此类区域存在的失真不敏感。基于此,提出了用于帧内编码的基于视觉一致性复杂度的快速CU深度预测和CU划分提前终止算法,并使用HM软件进行了实验测试。结果表明,相比HM算法,所提出的方法降低了帧内编码的时间消耗,并且编码效率损失微小。(4)近红外(NIR)技术可以在低光照条件下提高视频质量,已广泛应用于视频监控等视频应用中。然而,其缺点之一是近红外成像不能获得物体中的颜色信息。针对此问题,本文进行了一项实验研究,使用多个窄带NIR带通滤波器来捕获多光谱NIR图像,基于多光谱NIR图像研究物体颜色恢复。本文提出借助灰度信息从多光谱NIR图像恢复物体颜色的方法,采用线性回归从ColorChecker目标颜色估计NIR到RGB的映射矩阵,用于真实场景物体的颜色恢复。真实场景图像的测试结果显示所提出方法具有可行性。