无线通信系统中由于衰落、干扰、噪声等因素的影响,数据传输错误在所难免。自动重传请求(ARQ)机制是现代无线通信系统中普遍采用的错误纠正技术。多输入多输出(MIMO)技术提供了新的空间自由度,可以产生空间分集或空间复用增益,是提高系统容量的重要手段,已经成为下一代无线通信系统的关键技术。针对MIMO系统的ARQ技术研究是现代无线通信系统一个亟待解决的问题。本文研究MIMO系统中的ARQ传输技术。由于ARQ本质上是一种时间分集技术,其会改变MIMO系统的分集和复用折中关系,因此,本文首先在发送端统计信道状态信息(CSIT)场景下研究了MIMO ARQ系统的分集/复用模式切换问题。另外,当发送端具有完善或者部分CSIT时,预编码技术可以进一步提高MIMO系统的性能,为此,本文研究了点对点MIMO系统中的ARQ预编码设计问题,并扩展到基于中继协作的多跳MIMO系统中,首次提出了MIMO放大转发(AF)中继系统的ARQ预编码设计方法。首先,分集和复用增益的开拓对信道特性以及信道信息的依赖程度不同,不同信道特性及信道信息下的分集和复用增益性能分析是进行分集／复用模式切换的基础。但是,ARQ时间分集增益的不确定性导致不同模式下的MIMO系统性能分析面临极大挑战。在统计CSIT场景下,本文首次提出了MIMO ARQ系统的模式切换问题,综合考虑了实际系统中影响模式切换的多个因素：发送信道相关,信道估计误差,丢包率限制等,使用Gamma函数表达或近似不同MIMO模式下接收机的后验信干噪比分布,推导了不同模式下ARQ平均分集增益的表达式,提出了吞吐率最大化的MIMO分集／复用模式切换方法,分析了不同因素对模式切换点的影响。仿真结果表明,本文提出的模式切换算法具有较好的鲁棒性,相对单一模式传输方法能获得明显性能提升。其次,当发送端可以获得完善的或者部分CSIT时,预编码技术是进一步提高系统性能的重要手段和关键技术。而ARQ技术由于采用了重传,其预编码设计与传统单次传输的预编码设计不同。因此,本文研究了完善CSIT及信道估计误差场景下的MIMO ARQ预编码设计问题。在采用MIMO技术的LTE系统中,多个数据流以码字的形式呈现,每个码字可以进行独立的自适应调制编码,则自适应调制编码等级较低的码字需要较小的SINR门限即可以进行解码,而等级较高的码字需要较大的SINR门限才能正确译码。传统不考虑调制编码等级的重传预编码设计会因为过分提高低调制编码等级码字的SINR而造成功率浪费问题。为了解决上述问题,本文首先提出了新颖的重传包错误率最小化的优化目标,进而提出了重传预编码结构,利用该结构,重传预编码设计问题等效为一个功率分配和信道配对的联合优化问题。通过遍历信道配对并针对每个信道配对进行功率分配,可以获得联合优化问题的最优解。然而,给定信道配对时,功率分配是一个非凸优化问题,本文提出了一种两步功率分配算法,解决了重传预编码的功率浪费问题,有效提高了系统性能。另外,中继技术是进一步提高系统覆盖和吞吐量的重要手段,但是由于需要融合更多的信息,MIMOAF中继系统的重传预编码设计更为复杂,更具挑战性。在学术界,本文首次研究了MIMOAF中继系统的重传预编码设计问题。在完善CSIT场景下本文以最大化重传容量为目标,利用矩阵理论和凸优化理论提出了序贯最优的中继重传预编码算法；进而考虑联合源和中继的预编码场景,通过在源端引入信道配对矩阵,提出了一种可扩展的预编码结构,进而把预编码设计问题转化为一个联合源/中继功率分配和信道配对的联合优化问题。给定信道配对下,功率分配是一个多变量非凸优化问题,本文提出了一种次优的迭代功率分配算法,并从渐进性能的角度提出了一种简化的信道配对算法。另外,信道估计误差会严重降低系统性能,本文推导了信道估计误差对接收端信号均方误差性能的影响,提出了鲁棒的发送接收联合优化方法,获得了最优的检测矩阵,然后利用矩阵对角化和信道配对提出了鲁棒的联合源和中继的序贯重传预编码结构,进而把预编码结构中的参数优化等效为非凸功率分配和信道配对的联合优化问题。给定信道配对条件下,本文提出了一种最优的功率分配算法,再通过遍历信道配对可以获得联合优化问题的最优解。由于最优算法复杂度很高,为此,本文进一步提出了一种次优的低复杂度迭代功率分配算法和一种简化的信道配对算法。仿真结果表明,本文算法相对独立预编码设计方法具有很好的鲁棒性和明显性能提升,本文提出的低复杂度算法相对最优算法可以显著降低复杂度,但是性能损失很小。本文首先在统计CSIT场景下提出了MIMOARQ系统的分集/复用模式切换算法,进而在完善和部分CSIT场景下提出了LTE系统中的MIMOARQ预编码设计方法,并进一步扩展到基于中继的新型网络架构下,首次提出了MIMOAF中继系统的ARQ编码设计算法。本文研究结果对MIMO系统及MIMOAF中继系统中的ARQ传输以及接收设计具有重要的理论指导意义和实际应用价值!