随着通讯技术的发展和电子设备的普及,各种各样的视频应用已经成为人们生活的一部分。同时人们对超高清、高帧率、高色深等高质量视频的需求也逐渐提升。高质量视频意味着更大的数据量和对视频压缩技术更高的要求。因此在2013年,国际上发布了高效视频编码标准(High Efficiency Video Coding,H.265/HEVC),且下一代通用视频编码标准(Versital Video Coding,VVC)也在紧张制定中。视频压缩编码的主要原理是去除视频数据中的各种冗余。其中,空间冗余主要采用帧内预测编码来处理即由当前图像内的重建像素生成预测值,编码器对预测后的残差而不是原始像素值进行变换、量化和熵编码。因此提高帧内预测的准确性能有效提高编码效率。一方面,编码标准规定编码块的扫描顺序是固定的即光栅和Z扫描顺序,帧内预测时只有左侧和上侧的重建像素可用。这种编码方法导致只有纹理结构方向和编码块顺序方向相同的区域预测才比较准确,无法有效处理自然图像丰富的纹理结构。另一方面,图像可以被认为是分段平滑、由不同特性区域组成的。同时,视频编码标准规定编码块以树结构的方式划分为矩形子块。因此同一特性区域内部的块可能编码相同的信息编码效率低下,而跨越区域边界的块只能使用一个预测模型不够准确。这种矩形的预测块显然不能高效处理不规则的区域边界。相应的,本文为提高帧内预测准确性做了两方面的研究工作:一是研究自适应块顺序方法来处理不同的纹理结构方向即空间相关性;二是研究基于卷积神经网络的非矩形块预测方法来提高不同区域边界的编码效率。主要创新点为:1.提出自适应块顺序方法。在HEVC四叉树以及WC多叉树划分基础上根据图像内容分层选择最优的编码顺序,使得不同位置的参考像素处理不同的纹理结构;针对新的编码顺序提出改进的预测技术,在不增加现有预测模式的前提下扩大角度预测范围来充分利用重建像素;在编码性能和时间复杂度间寻找较优的折中。实验结果表明,此方法能有效提高帧内预测的准确性,平均提升约2.6%-3.1%的编码效率。2.提出基于卷积神经网络的非矩形块预测方法。根据编码块的几何结构,利用卷积神经网络将预测块划分为两个非矩形区域,不同的区域使用不同的预测模型然后组合在一起作为整体的预测;针对该方法的不足,又提出改进的训练方法即不是先预测划分方式而是直接预测最终的像素值,进一步提高了编码效率。实验结果表明,此方法能有效提高帧内预测的准确性,平均提升约0.6%-1.2%的编码效率。