极化和轨道角动量是电磁波除了具有的幅度、相位、频率之外的另外两个基本的物理特征。在无线通信系统中运用极化信号以及多模态轨道角动量处理将开拓无线频谱资源利用的两个全新的维度,也可以完善和丰富无线信号的分析、处理与传输理论,能够在很大程度上有效缓解目前有限的频谱资源日益匮乏的突出难题,同时也可为解决未来天地一体化的无线通信系统中的容量提升、异构网络的融合、通信系统的绿色、节能等热点问题开辟新的途径。然而上述新技术的引入就需要对传统的多维调制技术及其星座映射、系统复用方法等关键技术进行改进、优化或重新研究和设计。论文选题来源于国家自然科学基金项目“基于认知与极化信号处理的功放能效研究”（项目编号:61271177）和“多模态轨道角动量在极化分集认知无线电网络中的应用机理研究”（项目编号:61561039）。论文围绕极化信号的多维调制处理技术以及极化分集中电磁涡旋波的多模态轨道角动量应用技术进行了深入研究。主要研究工作及成果如下:（1）对极化信号处理、电磁涡旋波的多模态复用技术的研究进行了综述和分析。首先概述了极化的表征方法,然后重点分析了无线通信系统中的极化信号及轨道角动量处理技术面临的挑战及包含的研究内容,最后分类梳理了极化信号及多模态轨道角动量处理技术的发展现状,在此基础上,分析了本文需要解决的问题。（2）针对无线信道的去极化效应问题,论文提出了一种多天线几何去极化信道模型。该模型以发射端和接收端所在空间散射体构建空间几何量化关系来定量的确定极化信号的交叉极化函数。并考虑通信节点移动或固定的应用场景,最终建立了固定到移动（F2M）、移动到移动（M2M）场景下的多天线去极化信道散射模型,并对影响该模型的多个物理参量进行了仿真分析。仿真结果表明,该模型与通常的射线跟踪的极化信道散射模型建立方法相比,具有更低的算法复杂度和较为快速的还原极化散射场景的能力。（3）论文从减小系统的复杂程度,增加系统的鲁棒性为目标出发,提出了一种新型三维调制系统及星座映射结构。该方法将载波的正交极化分量的幅度比和载波的幅度和相位三个参量来承载信息的极化正交幅度调制系统,并利用单位庞加莱球和三维格结构设计了新型的三维星座结构。并考虑到不同调制阶数中上述参量所占的份额,给出了常用的不同阶数的三维调制映射结构。理论证明了这些结构在降低系统误码率的可行性,且对不同结构进行了定量的误码率分析和比较。分析及仿真结果表明,所提新型三维调制星座映射结构不仅可以充分利用极化参量,而且极大地降低了系统的复杂度。（4）本文针对目前微带天线具有的带宽窄的缺点,深入的研究了宽频微带阵列天线的设计,利用L型探针馈电微带贴片天线作为阵列的阵元,并通过改变阵元之间的馈电相位差将OAM技术应用于阵列天线中,设计出了一种工作在L波段的8阵元多模态OAM电磁涡旋波微带阵列天线结构,其工作频段在1.35GHz～1.86GHz,相对带宽达到31.8%,可以在同一频点产生具有多种OAM模态（l=0, l=±1, l=±2, l=±3）特性的电磁涡旋波。