自由空间光通信(Free Space Optical,FSO)系统因其频谱资源充裕、功耗小、抗电磁干扰能力强、且无需频率许可等长处,而开始变成无线通信范畴研究的焦点之一。随着科技的发展,人们对通信的传输容量提出更高的要求,拥有轨道角动量(Orbital Angular Momentum,OAM)的涡旋光束和多输入多输出(Multi Input Multi Output,MIMO)系统是两种有效利用空间维度的通信方式,可有效提高频谱效率和系统容量。然而,自由空间的OAM-MIMO-FSO通信系统无法避免大气湍流带来的影响,OAM模会出现幅度波动和相位扭曲进而导致能量扩散,破坏OAM模式之间的正交性,进而大幅的降低系统通信质量。因此如何有效地抑制大气湍流带来的干扰,同时尽可能的利用多径效应成了提升系统性能的挑战。研究发现,空时编码技术(space-time coding,STC)可以有效提高多发射天线之间的分集增益,降低多路信号之间的串扰。圆天线阵列(Uniform Circular Array,UCA)能够更加灵活的同时在不同天线上发射不同OAM模式的OAM光波。此外,低密度奇偶校验码(Low Density Parity Check,LDPC)作为一种性能极优的信道编码方案,经常被应用于通信系统中以纠正被湍流以及噪声破坏的信号。第一部分利用MIMO技术所带来的分集增益来提高系统容量以及误码率,同时利用不同空时编码技术对MIMO中的多天线进行编码,来获得更好的性能。而第二部分则是采用更适合于OAM的圆天线阵列技术来获得更多的信道增益,同时引入LDPC信道编码。两部分相同的是都是多天线收发阵列,但对天线的处理方式不同,一种是引入对天线的编码,而另一种是一种特殊的天线分布方案,同时加入了信道编码。论文基于修正冯卡曼(Van Karman)湍流信道模型,在OAM-FSO通信系统中,利用最小二乘(Least Square,LS)信道估计算法获得信道参数,将空时编码、圆天线阵列以及LDPC信道编码技术相结合,探究了不同方案对系统性能的影响,具体研究工作如下:(1)考虑到修正Van Karman湍流模型,系统研究采用空时编码的多路OAM复用的MIMO-FSO系统的误码性能。通过无线通信系统中空时编码准则,推导出基于OAM复用的垂直贝尔实验室分层空时编码(vertical bell labs layered space-time,V-Blast)和空时块编码(space-time block codes,STBC)编译码准则。利用LS信道估计算法来获得信道参数,分别推导出OAM复用的V-Blast和STBC不同空时编码下第n个接收天线上的第k个OAM模式携带的信号表达式。在不同湍流强度情况下,对比分析V-Blast与STBC两种空时编码方式的误码曲线并与未编码前对比。通过改变调制阶数、接收天线数目分析分集增益对OAM-FSO系统的性能改善。结果表明,V-Blast和STBC均可以通过缓减大气湍流和噪声对传输信号的损坏来提高系统性能。提高发射天线数能有效提高分集增益而且STBC在信号恢复方面比V-Blast表现的更好。(2)改变FSO系统的MIMO天线集合为圆形阵列分布,研究基于修正Van Karman谱下OAM-FSO系统结合均衡器的误码性能。结合LS信道估计得到传输矩阵并推导使用迫零算法(Zero Forcing,ZF)和最小均方差算法(Minimum Mean Square Error,MMSE)下每个接收天线接收到信号的误码率表达式。LDPC也被采用进一步优化系统的传输质量。接着综合考虑大气湍流、调制方式、接收端均衡方式详细分析对误码率性能的影响。结果表明,MMSE均衡器比ZF均衡器对于误码率的降低更明显。而且通过增大接收天线数目可以获得分集增益进而提高系统性能。LDPC编码能够带来更显著的信道增益,尤其是在强湍条件下。本文研究内容对于OAM-FSO通信系统的设计和优化提供了一定的参考。