无线中继技术，已被用于Ad hoc/sensor网络和无线mesh网络，同时将被IEEE802标准组织纳入802.11、802.15、802.16、802.22等标准，也是B3G/4G系统的重要研究内容之一，而OFDM（orthogonal frequency division multiplexing）和MIMO（multiple input multiple output）是下一代无线通信系统物理层的核心技术，ARQ（automatic repeat request）协议是MAC（media access control）层提高传输可靠性的基本方法。因此，本文分别研究与截短ARQ、OFDM、MIMO相结合的中继系统，通过跨层设计、资源分配优化以及天线选择技术，提高无线中继系统的性能。 在中继系统中，同一信息在两个时隙内被重复转发，在等长的时间内发送新信息量只有直接传输系统的一半。本文采用自适应技术提高传输速率，利用跨层优化设计的思想和方法，研究基于截断ARQ协议的中继系统吞吐量最大化问题。其中，在理论上导出了系统吞吐量的表达式，揭示了数据包包长和调制方式对系统吞吐量的影响，随后设计了最大化系统吞吐量的优化算法。在算法设计方面，首先设计出寻找最合适数据包包长和调制方式的二维优化算法，进而设计出计算复杂度更低的基于信噪比的一维优化算法。仿真结果证明了两种算法的有效性。 在OFDM中继系统中，资源分配的优化是提高系统性能的重要手段。本文为此进行了三方面的研究。第一，为优化OFDM协作通信系统的频谱效率，本文将传输策略选择与发射功率分配、子信道指配等资源分配方式相结合，提出了联合资源分配迭代算法，并证明了算法的收敛性。在此基础上，本文进一步提出了简化算法。仿真结果表明，本文的资源分配迭代方案和简化方案的频谱效率均优于已有的两种资源分配方案。第二，分别在理想反馈和反馈速率有限的条件下，通过功率分配实现解码转发OFDM中继系统频谱效率的最大化。在理想反馈条件下，发射机能够获得准确的信道状态信息，本文导出了最优的迭代功率分配算法。在反馈速率有限的条件下，目标节点根据完整的信道状态信息为源和中继的发射机在一个有限长度的功率分配表中选取功率分配矢量，并把选择结果反馈给源和中继，本文说明了设计功率分配表的方法。仿真结果表明，与没有反馈信息的平均功率分配策略相比，即使少量的反馈信息就能取得频谱效率的增益；随着反馈信息量的增加，频谱效率逐渐逼近理想反馈时的系统性能。第三，针对半双工OFDMA（orthogonal frequency division multiple access）中继网络，通过动态子信道分配、自适应功率分配、传输策略选择和中继选择的联合优化，最大化用户的总效用。为了公平利用中继用户的资源，把中继用户所能帮助的最大子信道数和分配给每个子信道的功率设为常量。在此基础上使用贪婪算法解决资源分配问题。仿真结果表明，该算法改善了用户间的公平性，能高效地利用资源。 在MIMO中继系统中，天线选择可以取得系统成本和性能的折中。在基于空时复用的MIMO中继系统中，为了避免最优算法——穷搜索的高复杂度，本文分别为源节点、中继节点和目标节点提出了快速天线选择算法，其中，算法设计的目标是最大化系统容量，所有算法都是根据矩阵行列式、逆矩阵的性质导出的递增算法。本文给出了算法的详细推导过程。仿真结果表明本文提出的快速递增算法在复杂度大大降低的同时，其中断容量性能与最优算法的性能很接近。另外，在基于Alamouti策略的MIMO中继系统中，本文分析了几种天线选择策略的中断概率，进而得到该系统的分集性能，表明天线选择能够取得全分集增益。以上导出的理论结果与蒙特卡罗仿真结果相吻合。