随着人们对数据传输速率和服务质量要求的提高，无线通信系统的网络架构和传输技术都在不停地演变。作为提高无线通信系统频谱效率的一种有效方法，多输入多输出(MIMO)技术在近年来得到了广泛的关注，并被许多标准所采纳。通过在收发双方部署多个天线并采用空时编码等方式可以获得空间分集，增强无线链路的可靠性。但是出于终端尺寸，硬件复杂度以及实现成本等因素的考虑，在移动终端上部署多个天线有一定的困难。为此，人们提出了协同通信的概念。在一个协同通信系统中，一个用户在系统中其他用户或终端的配合下进行通信。这种新颖的技术可以有效增加空间分集，扩大网络覆盖范围并降低终端发送功率，因此得到了工业界和学术界的广泛关注，有望成为第三代移动通信系统长期演进更高级版本(LTE Advanced)的关键技术之一。常用的协同传输协议包括放大传送，解码传送和压缩传送等。这些协议在复杂度和性能方面各有优劣。本文围绕协同传输协议的性能分析与优化，协同终端选择，新颖协同传输协议的设计等方面展开研究。在一个放大传送协同传输系统中，接收端输出信噪比是一个十分复杂的调和平均值的形式。要分析系统的精确误符号率是十分困难的，通常只在某些简单的信道模型例如瑞利信道下可以得到误符号率的表达式。而这些表达式却十分复杂，通常包含贝赛尔函数的积分。本文中我们采用参数化性能分析方法，分析各种放大传送协同系统在高信噪比时的误符号率性能。这些系统包括两跳正交放大传送系统，两跳选择性放大传送系统，多跳放大传送系统。分析所得的误符号率表达式十分简单，从中可以方便地得到这些放大传送系统的分集阶数和分集增益。而且所提出的方法适合于任意信道，只要这些信道的概率密度函数在零点有一个有效的级数展开式。在此基础上，文中又讨论了两跳正交放大传送系统在Nakagami-m信道下基于信道统计信息的功率分配方法，通过为发送端和协同终端(中继)分配不同的功率来最小化误符号率和中断概率。由于最优的功率分配需要求解一个非线性方程组，文中还提出了一种低复杂度的次优功率分配方法，并通过计算机仿真检验了这两种功率分配方法所能获得的性能增益。在一个具有多个协同终端的系统中，分布式空时编码是一种高效率的多终端协同方法，不过这种协议需要多个发送终端信号之间严格同步以保持其正交性。为此本文提出了一种适用于同步和异步情况的基于交织器的多终端协同传输协议，给出了接收端相应的信号检测算法并仿真了其性能。这种协议不要求发送终端之间的同步，即使在异步情况下经过适当处理仍可以获得良好的分集效果，并且适合于任意数目的协同终端。和传统点对点通信系统相比，信道估计在协同系统中较为复杂。特别是对于采用放大传送传输协议的系统而言，由于接收端需要知道发送端与协同终端，以及协同终端与接收端之间所有信道，其信道估计的难度更大。为此我们提出了广义差分编码技术并将其应用于放大传送协同通信系统中来避免信道估计。这种差分编码采用了分块编码的思想，发送数据按照一定长度进行分块。每一块第一个符号为参考符号，其余符号为普通符号，通过为参考符号和普通符号分配不同功率可以提升系统性能。在信道变化不是很快时，其性能优于传统的差分编码，并且和理想相干检测接收机的性能差距非常小。在一个多用户协同通信系统中，如何选择一个合适的协同伙伴进行信号的传输需要考虑性能与公平性等诸多因素。现有的协同伙伴选择方法虽然可以获得较好的性能但是无法保证用户之间的实时公平性。文中提出了一种考虑实时公平性的多用户协同伙伴选择方法，该方法基于直接链路瞬时信道状况来选择协同用户，直接链路较差的用户可以优先选择其协同伙伴，这样可以保证每次突发传输中的用户公平性。文中分析了该协同伙伴选择方法的性能下限，并通过仿真和其他几种伙伴选择方法进行了比较。选择性中继是一种高效率的协同传输方法。而选择最佳的协同终端进行传输需要决策者具有全局的信道信息，这在实际系统中是非常困难的。因此文中讨论了基于部分信道信息的协同终端选择方法。考虑了基于理想的瞬时信道信息，统计信道信息以及量化信道信息的以最小化比特误码率或者中断概率为目标的协同终端选择方法。文中还研究了信道量化器的设计问题，提出了基于目标速率和目标误码率的量化器设计方法。仿真结果表明基于量化信道信息的协同终端选择可提供复杂度与系统性能之间的良好折中。当系统中有多个用户的数据需要中继时，采用无线网络编码技术可以有效提高传输效率。不过与传统点对点直接传输相比，仍然存在频谱效率的损失。文中提出了一种基于联合网络编码与信道解码的高效率协同传输技术。该技术有效利用了无线信道的广播特性以及常见信道编码的线性特性，具有和点对点直接传输相同的效率，并且有效改善了用户的误码率性能。