近年来，伴随着移动通信技术的发展，用户在得到更好的服务的同时对系统的可靠性和有效性要求越来越高。然而，无线通信固有的问题，比如无线信道的随机性，由多径引起的频率选择性衰落，以及日益紧张的带宽资源，限制了频谱效率和系统容量的提升，也促使人们开发新的技术来解决这些问题。多天线分集技术通过终端配置多根天线，在不消耗额外带宽的条件下，可以获得分集增益，有效提高系统的可靠性、数据速率和系统容量，成为目前研究的热点之一。然而，在终端配置多根天线会受到天线相关性以及物理上的限制，这促使人们想办法利用现有系统实现多天线的效果，协作分集应运而生。协作分集通过采用协作传输的方法，将不同用户的天线虚拟成为一个多天线的传输系统，同样可以获得分集和复用增益，提高系统的有效性和可靠性。同时，由于传统通信系统的分层设计原则，系统优化时并不能综合考虑各层情况，而跨层设计打破了层间的限定，将不同的协议层联合起来，利用协议层之间的相关性，传递状态信息，来协调各层之间的配置，以达到优化系统设置，保证资源利用率和服务QoS的要求。本文首先介绍协作分集的基本理论，如分集合并方式、协作模型和转发协议和空时编码理论，并介绍了跨层设计的基本理论和常用于跨层设计的两种技术：物理层的自适应编码调制（Adaptive Modulation and Coding）和链路层的混合自动重传请求（Hybrid Automatic Repeat Request）。在理论分析的基础上，针对多天线终端的协作MIMO系统，提出了一种有效的跨层设计方案，通过物理层自适应编码调制和链路层混合自动重传请求技术的联合优化，实现了系统性能的提升，仿真结果表明采用本文的跨层设计方案可以在满足误包率的要求下有效提高多天线终端协作MIMO系统的吞吐量性能，同时证明了相对于非协作系统，协作分集可以降低系统的误包率。