以多用户协作通信和认知无线电为主要技术的新一代无线网络已成为当今无线通信领域的研究热点。基于协作分集思想的多用户协作通信及其组网技术为多跳网络和无线网格网等异构网络的融合提供了新的研究模式，协作节点通过对中继信号（多跳信号）和信源信号（单跳信号）进行联合处理，实现了单跳通信与多跳通信的并行组合，不仅获得了空间分集增益，而且提高了能量有效性。另一方面，认知无线电可以自适应地感知周围无线环境，通过对无线环境的理解和学习，实时地改变系统参数，以适应外部无线环境变化，从而优化通信系统性能，充分利用有限的频谱资源，显著提高频谱利用率，实现不同用户之间的频谱共享。基于认知无线电技术的认知无线网络在新一代无线网络中具有非常广阔的应用前景。　　 本论文以新一代无线通信网络为背景，深入研究了多用户协作通信中的协作多输入多输出（MIMO）与广义多载波、分布式编码与分集复用折衷、多用户功率分配与跨层协作等关键技术。同时，将协作与认知进行结合，探讨了认知无线网络中基于多载波调制的频谱感知与抗干扰编码、基于认知OFDM的最大似然比频谱检测和子载波分配算法，以及范德蒙频分复用技术等。论文主要工作与创新点如下：　　 （1）提出了基于广义多载波的协作MIMO信号联合检测算法和多节点低复杂度分布式空时均衡算法。　　 建立协作MIMO中广义多输入多输出理论分析模型，协作节点采用多载波调制（正交频分复用（OFDM）与滤波多音调制（FMT））对抗信道频率选择性衰落，对协作MIMO中FMT系统进行建模，提出了FMT调制信号的联合检测与信道均衡新算法。同时，研究了协作MIMO中的分布式空时编码技术，提出了基于空间复用的分布式垂直型贝尔实验室分层空时编码（D-VBLAST）自适应低复杂度判决反馈均衡（DFE）算法。同时，研究了多节点基于空间分集的分布式空时分组编码及其分集复用折衷技术，实现在协作MIMO中采用分布式空时分组编码时系统的复用度与分集度达到最佳折衷。　　 （2）提出了协作MIMO中不同优化目标下多节点最优功率分配策略，以及基于Jackson排队网络模型的多中继跨层协作通信方案。　　 研究资源受限条件下协作MIMO系统在最大化容量准则、最小化符号差错率目标下，不同协作节点数与节点间不同协作策略对最优功率分配的影响。与此同时，借鉴现代通信中的排队论在跨层优化中的应用，提出了协作MIMO中基于Jackson排队网络模型的多中继跨层协作策略，协作节点在获取最优功率分配的同时保障系统服务质量。　　 （3）提出了认知无线网络中基于滤波器组的多载波频谱感知模型，以及基于认知OFDM的新型抗干扰编码策略。　　 鉴于传统认知OFDM频谱旁瓣峰值高带来的子载波间干扰问题，采用高效的频谱旁瓣抑制策略是实现认知OFDM的关键。所提基于滤波器组的认知物理层多载波频谱感知方法利用Thomson多抽头频谱估计与均方根-奈奎斯特滤波器频谱估计，获取较高的感知灵敏度与较宽的频谱动态感知范围，从而提高感知精确度，实现高可靠度的多载波调制。同时，提出了两种认知OFDM中高效的抗干扰编码策略：基于均匀子信道选择的无码率编码和基于非均匀子信道选择的分段编码，在保护主用户通信的前提下实现认知用户数据的可靠传输。　　 （4）提出了认知无线网络中基于最大似然比频谱检测的子载波分配算法与范德蒙频分复用技术。　　 认知无线网络中多个认知用户在时域与频域对主用户授权频谱进行感知，认知基站通过协作检测与感知数据融合对主用户频谱空洞进行联合精确感知。所提最大似然比频谱检测算法自适应信道变化，基于该算法的子载波分配策略可以明显提高认知OFDM系统频谱感知性能。此外，采用范德蒙预编码与认知OFDM相结合构成范德蒙频分复用（VFDM），可以有效利用OFDM符号循环前缀冗余度和信道频率选择性获得系统复用增益，在认知用户对主用户通信不产生干扰的前提下使认知用户获得最大的数据传输速率，从而实现认知用户与主用户的频谱共享。