随着无线通信技术的飞速发展和用户对数据业务宽带化、多样化需求的日益增加,传统时域、频域和空域的无线资源面临紧缺现状,制约了无线移动通信与业务应用的持续发展,探索新的通信方式的需求越来越紧迫。近年来,电磁波的极化状态、轨道角动量的研究及应用倍受关注。目前对于电磁波的极化状态的研究虽相比轨道角动量的研究而言较为成熟,但仍有很多待探索的问题。尤其是随着极化信号处理技术的不断发展,使得无线通信中的极化信道建模需求越来越迫切。但是相比雷达通信和光纤通信领域,无线信道的极化信道呈现复杂的去极化效应,从而导致其信道的建模相对比较困难,因此极大的影响了通信质量。对于电磁涡旋波的研究目前正处于起始阶段,虽然轨道角动量和极化的复用波束能够极大的提高频谱利用率、提高通信效率,但是在复用波束中,极化和轨道角动量之间的关系较为模糊,因此对认识两者之间的关系产生了极大的影响。针对上述问题,本文对其进行了研究并提出了相应的解决办法,主要工作成果与结论如下：(1)通过对相关的极化的表征、极化信息的相关技术及极化信道建模的主要方法进行分析与综述,指出极化信道建模的必要性。同时,通过总结现有的极化与轨道角动量复用的方法,提出探讨复用波束中极化与轨道角动量间关系的必要性。这为本文研究工作的进一步展开奠定了理论基础。(2)针对信道去极化效应这一问题,提出一种新的基于几何散射理论的多天线极化信道模型。该模型可通过已知的多天线配置、极化场辐射模式以及散射体的空间分布,建立每一条路径的去极化效应模型,从而将F2M、M2M通信系统中极化信道的去极化效应由交叉极化鉴别度——XPD(cross polarization discrimination)的值表示出来,以拓展极化调制在无线通信系统中的使用范围,提高信息的传输速率。通过仿真实验,所得到的XPD值受到发射和接收端之间距离的影响存在有一个阈值,并强烈依赖于极化波到达接收端时的到达方位角的分布常数,而且当方位角的值不同时,XPD值的变化呈固定趋势。该信道模型能够在很大程度上减少传统信道建模的复杂性,并能够直观的再现信号的传输过程。(3)针对极化与轨道角动量复用波束的认识这一问题,提出一种新的庞加莱球的表示方法。通过将不同模态的轨道角动量对应不同的庞加莱球,以获得不同球的球面上每一点所对应的不同极化状态。为了方便表述,挑选出球面上的几个特殊的点,画出了这些点在不同方位角时的极化旋向图,得到球上某点的极化状态与该点电磁涡旋波的模态值、方位角都有密切关系的结论,这对更加深入的认识和了解复用波束具有十分重要的意义。