随着互联网和多媒体技术的不断发展,人们对视频清晰度的需求日益提高,大量高清及超清视频对计算机存储空间和传输带宽带来了巨大的冲击。为了应对视频急剧增长的数据量带来的挑战,JCT-VC制定并发布了新一代视频编码标准HEVC,相比于上一代编码标准H.264/AVC,同等编码质量下HEVC能够节省一半的码率。这得益于其采用了许多优秀的新技术,但先进编码技术的引入也导致了其计算复杂度的急剧增加,使得HEVC难以在实际应用中推广,因此,HEVC编码器的优化及快速算法问题成为了目前的研究热点。本文针对HEVC高计算复杂度的问题,在原始编码器的帧内编码过程上,对关键技术进行算法优化,主要工作如下:在预测模式决策上提出两种快速算法,本文充分分析了视频图像纹理特性与预测模式间的联系,第一种优化算法对预测模式预分组,根据方向探测器得到的方向信息选择预测模式组,减少角度模式数量,同时组合算法还对非角度模式根据概率统计进行预处理;第二种优化算法根据H cost对预测模式自适应判断,决定是否继续进行预测计算或提前终止筛选过程,自适应减少粗模式选择与率失真优化预测模式数量。此外,本文还利用支持向量机对编码单元决策进行算法优化,机器学习在处理分类问题中具有较好的效果,但其准确率取决于特征值与训练样本的选取。我们首先设计了三种编码单元纹理计算方法,然后利用帧内编码单元数据库提取训练样本并对其预处理,提出一种多级多分类的级联支持向量机结构,对级联支持向量机在线下训练决策模型,最终根据决策函数快速决定编码单元的划分与否。为了验证算法性能,本文所有算法均在原始HM 16.0参考模型上进行实验。通过标准视频序列的测试,实验结果表明,本文提出的预测模式快速选择算法在码率几乎不变和保证视频图像质量的前提下分别减少了16.0%与16.8%的编码时间;编码单元快速划分算法能够在仅增加0.24%码率的条件下,节省43.4%的编码时间,且与原始编码器对比图像视觉效果几乎没有差别。实验结果证明了本文算法能够在保证编码质量的前提下,有效减少编码器的计算复杂度。