视频是多媒体业务中最常用的媒体之一。然而,由于视频数据量巨大,未经压缩的视频数据很难在带宽有限的网络中传输。作为视频应用的关键技术之一,视频编码致力于去除视频数据中的冗余,以达到减少数据量的目的。随着基于移动设备的视频直播等新型多媒体业务的兴起,对视频编码的实时性、压缩效率和抗误码性能提出了极大的挑战。作为视频编码的重要环节,帧内编码仅依靠视频帧自身空域的信息进行编码,并为后续的帧编码提供参考,是视频编码在较差网络环境下避免错误传播以提高传输质量的关键技术之一。在新一代视频编码标准H.265/HEVC中,帧内编码加入了大量新的编码工具,使得其编码性能得到了显著提升,同时也导致其编码复杂度过高,不适用于大多数新兴多媒体业务。因此,本文以高编码速度、高编码性能和低运算量为目标,对H.265/HEVC的帧内编码技术进行了优化研究。本文从减少不必要的帧内预测模式和划分组合数目这两个角度入手来降低帧内编码复杂度;并综合考虑了算法并行度、编码速度稳定程度与算法复杂度的可调节性,设计出了一种基于H.265/HEVC的快速帧内编码系统。针对H.265/HEVC帧内预测模式数目较多这一情况,本文首先设计了一种计算复杂度低、并行度高的图像纹理提取方法,通过利用特征提取值的分布、图像纹理和最优预测模式之间的关系,设计和实现了一种基于纹理分布的快速帧内预测模式预测算法。以X265的1.7版帧内编码性能为参照,使用本算法控制编码时间减少80%的同时,在高码率环境下PSNR平均降低0.47dB,比特率平均上升1.5%;低码率环境下PSNR平均降低0.03dB,比特率平均上升7%。针对H.265/HEVC帧内编码划分组合数过多这一情况,本文首先提取影响率失真代价的编码参数(图像纹理、量化参数、预测单元大小),再分析其与率失真代价之间的关系,进而提出一种基于图像纹理的快速率失真代价预测算法。为避免以率失真代价最小原则筛选划分组合时陷入局部最优点,本文还提出了一种划分置信度的评价模型,利用划分组合的率失真代价估计值对划分组合成为最优的可能性做出评估,最终去除冗余的划分组合。以X265的1.7版帧内编码性能为参照,使用本算法控制编码时间减少72%的同时,在高码率环境下PSNR平均降低0.64dB,比特率平均上升1.96%;低码率环境下PSNR平均降低0.17dB,比特率平均上升8.35%。在上述研究的基础上,本文还将提出的快速算法应用于快速帧内编码系统中并进行了整体编码性能的测试,大量实验结果表明,与X265原版帧内编码性能相比,快速帧内编码系统在控制耗时降低90%的同时,PSNR平均降低0.203dB,比特率平均上升6.1%。