视频数据的爆发式增长给视频信号的存储和传输带来了巨大挑战。新一代高效视频编码（High Efficiency Video Coding,HEVC）标准应运而生,HEVC采用多项高效编码技术,提供了卓越的压缩性能,在保持相同视频编码质量的情况下,压缩效率相比前一代视频编码标准H.264/AVC提升一倍。基于信号处理的视频编码技术正逐渐接近压缩上限,编码性能的提高是以算法复杂度的指数级增加为代价来实现的。鉴于视频信号的最终接收者是人眼,学者们从人眼视觉系统（Human Visual System,HVS）感知特性出发,进一步消除视频的感知冗余来提升压缩效率。HVS作为视频信号的最终接收器,并不能察觉到特定视觉门限阈值下的信号失真,该阈值就是所谓的恰可察觉失真（Just Noticeable Difference,JND）。JND阈值可通过视觉感知模型进行预测,且可应用于视频编码,以提高视频感知编码效率。量化是视频编码器中的关键模块之一,一个合适的量化参数（Quantization Parameter,QP）可以在保持视觉质量不下降的同时减少编码码率。HEVC中采用基于方差的自适应量化（Adaptive Quantization,AQ）算法,根据方差的大小来调整量化参数偏移量,该算法仅使用样本方差作为视觉感知模型的预测器,存在低估纹理区域和高估边缘区域的失真可见性的问题,因此当前视频编码器中AQ算法的性能可以通过部署更好的视觉感知模型来提高。同时,视频压缩是一个多模块多层级协同的编码过程,包括码率控制、模式选择、运动估计、变换、量化等。由于视频压缩是一个串行编码过程,导致多模块感知优化存在率失真性能耦合效应,单模块算法优化对整体编码性能的影响并不满足线性关系。目前学术界缺乏对模块间相关性的定量分析以及多模块联合优化的系统研究,基于模块间相关性的多层次感知编码联合优化仍然是一大难题。针对视频编码研究现状,本文从自适应感知量化和多模块协同优化两个方面入手,探索基于视觉感知的多模块协同编码方法。本文的研究内容和创新性主要包括:1.本文考虑亮度自适应掩蔽效应和图案掩蔽效应,将JND预测引入至自适应感知量化中以提高AQ算法的率失真性能。具体而言,本文通过JND阈值预测模型估计编码单元（Coding Unit,CU）级JND均值,并将其映射至方差取值空间以保证算法兼容性,推导得到CU级感知量化参数偏移量以实现CU级感知自适应量化。实验结果表明本文提出的自适应感知量化的BD-BR平均降低1.04%,且在相同码率条件下VMAF分数增加0.2101,有效地提高了编码的主观质量。2.本文构建了一个多层次感知视频编码优化框架,并在此框架上进行系统化的算法优化。具体而言,本文定量分析了各编码模块间相关性,并确定各模块优化时的优先级,提出初始参数选择算法,通过从离散的候选参数解空间中依次选择算法关键参数,将复杂的多模块优化简化为连续的单模块优化。结合模块间相关性以及表征图像内容的特征参数,构建在线自适应参数模型,从而实现多模块协同感知编码优化。实验结果表明,该多模块优化方法能够在保持相同码率的条件下,VMAF分数提高0.6936。结合本文提出的感知AQ优化和多模块优化方法,在保持相同码率的前提下,VMAF分数提高0.7609。