为了支持广播系统、电影产业和存储介质等数字视频消费应用，一系列视频编码标准相继被制定出来。所有视频编码标准的目标是尽可能的减少视频序列中存在的时间冗余和空间冗余信息，从而对数据进行高效的压缩。尽管这些视频编码标准适用于各种各样的应用，但是视频编码的高压缩性能是以更高的运算复杂度为代价，然而视频编码的高运算复杂度并不能满足实际应用的需求，一些应用尤其是实时视频编码要求编码器拥有较低的运算复杂度。因此，如何降低视频编码的算法复杂度，加快编码速度，满足低复杂度的应用成为视频编码研究的重要课题。　　 本文分别对目前最先进的视频编码标准H.264/AVC和下一代视频编码标准高效视频编码(HEVC)进行了研究并对其具有高运算复杂度的帧内编码算法进行优化。　　 为了降低H.264/AVC视频编码的运算复杂度，本文首先对H.264/AVC的档次和编解码框架进行简要的介绍，然后重点对H.264/AVC的帧内预测算法进行了深入的研究并分析其算法复杂度，最后提出了一种基于SMP算法的H.264/AVC帧内预测快速算法，该算法由二个阶段完成:第一阶段采用基于方差的纹理复杂度分类对宏块模式进行快速决策。第二阶段中，若宏块模式为帧内16×16宏块模式，对当前宏块使用RDO来选出最佳预测模式，否则采用SMP算法对16个4×4块选取最佳预测模式。实验结果表明，相比于JM，SMP算法平均节约比特率为1.658％,平均编码时间只减少了8.199％。本文算法与JM相比，平均编码时间减少了23.597％，平均比特率节约了0.707％。然而，本文算法与SMP算法相比，虽有略微的比特率增加，但编码时间减少了20.441％。由实验结果可知，本文提出的算法有效的节省了平均比特率和减少了编码时间。　　 为了降低HEVC视频编码的运算复杂度，本文首先研究了HEVC视频编码及其关键技术，重点研究了HEVC帧内预测采用的新技术，然后对HEVC帧内预测流程及其运算复杂度进行深入的分析研究，在此基础上提出了一种HEVC帧内预测模式快速选择算法，该算法主要针对HEVC帧内预测粗模式决策(RMD)中存在的高运算复杂度，通过对当前预测单元(PU)使用边缘检测技术来减少进行代价函数计算的预测模式数，从而减少编码器的运算复杂度，提高编码速度。　　 实验结果表明，该算法在视频质量基本不变的情况下，编码时间平均减少了17.79％，最大编码时间减少了24.32％(接近1/4)，有效的加快了编码速度。