从移动通信系统的发展可以看出,带宽和小区间干扰是影响蜂窝网络容量的决定性因素。由于频率资源有限,更多的是通过各种先进的无线通信技术来消除或抑制干扰。协作传输技术作为4G/5G中的关键技术之一,可以有效的消除或抑制干扰,尤其能提高小区边缘用户的吞吐量。因此从理论研究和实际应用的角度来讲,研究协作传输技术并与MIMO、异构网络技术结合,具有较高的价值。本文首先对LTE-A中的MIMO、异构网络和协作传输技术进行系统性的阐述并分析其标准化过程。本文的研究内容主要包括协作传输技术的用户调度、功率分配、传输模式选择和异构网络中的协作基站部署等内容,以概率论、优化理论和随机几何等数学工具为支撑,结合理论分析和算法设计展开研究。在LTE-A下行多小区MISO场景下,考虑回传容量受限时对系统性能的影响,研究单小区传输、协作波束赋形和联合传输三种传输模式共存时的模式选择问题。在功率受限的情况下,利用瞬时的信道状态信息,提出一种最大化小区和速率的模式选择方法。首先分析基于迫零预编码准则下的联合传输和协作波束赋形的性能,然后将回传容量的约束转化为传输功率的约束,最后通过比较协作小区和速率来确定用户的协作模式。这样能在低回传容量时,有效的提高系统性能。在LTE-A下行多小区MIMO场景下,考虑协作簇外干扰对边缘用户的影响,研究在不同协作传输模式共存的情况下,如何进行自适应选择的问题。结合比例公平准则,提出了一种基于最大化权重的和速率的协作模式选择算法。利用Gamma分布来分析接收信号功率和干扰功率的统计特征,并求得协作传输模式下用户可达速率的近似闭式表达式。由于原优化问题是组合、非凸的,提出一种次优的方法来求解该问题。首先通过协作小区的选择来确定每个用户的协作小区集合和每个小区的协作用户集合,然后在给定的协作集合中,求解最优的协作传输模式。这样能通过选择尽量少的基站协作来得到较高的性能增益,有利于边缘用户吞吐量和小区平均吞吐量的提高。为了抑制小区间干扰,本文研究了 LTE-A系统中多小区协作调度和功率分配的问题。根据比例公平准则,通过联合优化用户调度、功率分配和调制编码来最大化权重的和吞吐量。在功率分配时,考虑在LTE-A系统中分配给同一个用户的多个资源块需要使用相同调制编码的约束。为了降低复杂度,将原组合、非凸的优化问题拆分成用户调度和功率分配两个子问题。进一步结合瞬时和平均的信道状态信息,分别完成单个小区内的功率分配和多小区协作的功率分配。利用拉格朗日乘子法求得功率分配的闭式表达式,并提出一种迭代的多小区协作功率分配算法。该算法有利于减少小区间的干扰和提高边缘用户的吞吐量。在异构网络的场景下,本文研究了在一定QoS保障的情况下宏基站和微型基站协作部署的问题,即如何通过联合部署宏基站和微型基站的密度来达到较高的频谱效率和能量效率。利用随机几何数学工具,将宏基站和微型基站建模成两个独立的齐次泊松点过程,并分别求得平均可达速率和能量效率的可分析的表达式。在假定用户业务到达率服从泊松过程的情况下,结合排队论知识求得系统稳态时的阻塞概率。进一步通过数值分析的方法评估基站负载率的变化对能量效率的影响,并得到最优能量效率下的基站部署密度。通过宏基站和微型基站的协作部署,不仅可以有效的提高能量效率,减少大量部署微型基站所带来的经济开销,还可以为实际的异构网络的设计提供理论依据。