自从2000年提出网络编码以来，随着国内外众多学者的持续研究，网络编码技术已被证明可以比纯路由选择方案更能改善网络吞吐量，网络鲁棒性，以及网络资源分配的有效性。多速率组播具有满足不同用户需要与适应不同接收器时变网络条件的能力，可以将数据以不同的速率传递给具有不同链路容量的接收方，同时也是一种能高效地将数据传递到多个异构终端的网络传输技术。本文基于网络编码和多速率组播技术，研究了视频传输网络的多业务系统优化问题。首先，介绍了当前国内外有关网络编码和多速率组播的研究情况，然后对网络编码的相关定义给出了详细的叙述。在此基础上，将网络编码应用于多速率组播网络中去，考虑基于层间网络编码的可分级多速率组播的多业务系统优化问题。考虑通过联合优化多条可供选择的路径视频流，层间网络编码的路由选择以及网络流量控制等约束条件来达到最大化定义在异构接收器上的一个凹的网络效用函数，进而建立数学优化模型。然后，采用分解方法、次梯度法等一系列非线性优化方法提出了物理意义清晰的分布式算法，并对性能优化问题进行迭代求解，实现了分布式速率控制、价格更新机制。最后，使用定理验证该算法的稳定性和收敛性。数值仿真实验表明，相比于层内网络编码，基于层间网络编码的分布式算法能够获得更高的网络吞吐量，从而，验证了算法的有效性。