随着视频通信产品和需求的不断升级，视频编码技术成为多媒体通信发展的重要瓶颈。现有的存储介质和网络带宽条件给视频压缩编码提出了新的挑战。因此，如何更有效地对视频数据进行编码压缩至关重要，也是研究的热点。小波分析具有良好的时域和频域同时局部化的分析能力，能够有效地捕捉到视频图像的非平稳信息而获得更高的压缩比。另外在小波域中能容易地进行多分辨率运动估计和运动补偿，同传统的空间域运动估计相比可节省大量的匹配搜索时间。数学形态学在图像的边缘检测、视频对象分割方面有着独特的优势，计算简单便于硬件实现，可以配合小波变换来提高编码效率。本文针对甚低比特下视频图像传输的特点，采用基于对象的视频图像分割思想，分别对对象和背景进行多分辨率下的小波域运动估计。在深入研究了基于数学形态学的视频对象提取和小波域的运动估计算法的基础上，提出了新的改进算法，主要有以下三个方面：首先提出了一种基于分水岭分割与马尔可夫随机场(MRF)分类的视频对象提取算法。利用形态学中分水岭分割的方法，将视频图像分割出不同的区域，并采用基于MRF的遗传递减方法将对象与背景分割开，然后利用腐蚀和膨胀方法提取视频对象轮廓，进而分割出视频对象；其次在视频对象分割的基础上，提出了一种基于视频对象区域的SPIHT算法，即VOP-SPIHT编码算法。首先进行对象区域小波的分解，然后对小波系数进行空间树的集合分裂，对小波显著系数簇优先编码和传输，通过分级编码来提高压缩比和传输效率；接着改进了小波域运动估计算法，提出了一种多分辨率下基于小波匹配误差的运动估计算法。该算法基于PDE(Partial Distortion Elimination)，利用多分辨率特性和小波匹配误差特性，加快了搜索匹配的速度。最后对提出算法进行实验，得出了比较好的结果。对全文进行了总结，并探讨了小波与数学形态学在视频编码中进一步研究的展望，直接将数学形态学应用于小波系数的编码会成为提高压缩比的另一个有效途径。