如何提升无线中继通信系统的传输能力是当前的热点研究课题。现有研究大多假设无线中继通信系统的输入为理想的高斯信号,然而实际中输入基本为非高斯分布的有限字符信号,例如相移键控（Phase Shift Keying,PSK）、正交幅度调制（Quadrature Amplitude Modulation,QAM）等信号,从而导致基于高斯信号设计出的传输技术在无线中继系统中的实际性能与理论预期存在较大差距。为提升无线中继系统的实际传输性能,本文研究了输入为有限字符信号的中继系统中的传输技术,主要研究内容及贡献如下:首先,研究 了基于无线携能传输（Simultaneous Wireless Information and Power Transfer,SWIPT）的多中继协同系统中的联合传输技术,即对源节点预编码和功率分裂（Power Splitting,PS）率进行联合优化以最大化系统的互信息。为解决所提出的非确定性多项式（Nondeterministic Polynomial-time,NP）难问题,先从理论上分析了最优PS率,提出了一种基于半定松弛（Semi-Definite Relaxation,SDR）的近似最优预编码设计;接着,设计了一种基于搜索技术的低复杂度预编码算法。仿真结果表明,相比传统的设计方法,所提出的传输设计带来了显著的性能增益。然后,在基于SWIPT的多输入多输出（Multiple-Input Multiple-Output,MIMO）中继系统中研究了源节点预编码、中继节点预编码以及能量收集（Energy Harvest-ing,EH）比率（即PS或时间切换（Time Switching,TS）比率）的联合优化问题。在两种EH方案中,先分析了 PS和TS比率的可行域,并提出了一种基于线性回溯搜索的算法对两种比率求解;接着,从理论上推导出了最优中继预编码矩阵满足的必要条件,设计了一种基于SDR和卡罗需-库恩-塔克（Karush-Kuhn-Tucker,KKT）理论的联合源和中继预编码算法;此外,从理论上证明了 TS方案下传输能量的最优预编码结构。仿真结果表明所提出的联合优化算法的性能超越了基于高斯信号的优化算法。随后,考虑了频谱共享下多跳MIMO中继系统中源和多个中继预编码的联合设计问题。先针对两种信道状态信息（Channel State Information,CSI）（即完全CSI和统计CSI）情况,提出了基于迭代秩惩罚（Iterative Rank Penalty,IRP）与定制Uzawa算法的求解框架;接着,从理论上分析了所提出求解框架的收敛性。仿真结果表明,相比基于高斯信号输入的预编码设计,所提出的预编码设计能大幅提升系统速率。最后,研究了缓存辅助中继系统中的安全传输问题,通过设计源节点和中继节点的波束成形向量以及相应的功率控制参数来最大化可达安全速率。为解决该多变量的复杂优化问题,在源节点处,从理论上分析了最优的波束成形结构和功率控制参数;在中继节点处,引入莫罗-吉田正则化（Moreau-Yosida Regularization,MYR）和秩1分解处理（Rank-one Decomposition Procedure,RDP）技术,开发了一种联合求解算法,同时也对缓存系数作了优化分析。仿真结果表明所提出的算法性能超过了传统的算法。