自由空间光(free-space optical, FSO)通信系统能够使用开放频段以高达几Gbps的速率传递信息。然而单跳的FSO链路受制于湍流导致的衰落,其通信距离不能超过几千米。为了突破通信距离的限制,一种可行的方法是使用中继。通过引入中继,长链路被分解成多条短链路,端到端的通信可靠性能够有效提升。本文首先研究FSO通信的最优中继放置问题。其中,中继位置必须保证链路能够绕开障碍物,且中继节点必须在可行域之内。我们提出了一种对中继位置的最优化框架,能够使FSO多跳通信达到最低的中断概率,同时使中继位置满足障碍物和可行域的约束条件。当需要放置的中继点个数很多时,解空间将会随自变量个数(正比于中继点个数)呈指数级增大,故搜索时间将会变得很漫长。因此我们提出了一种分组优化算法来降低搜索时间。仿真表明,分组优化算法能够提供和最优解很接近的次优解,但是其平均搜索时间却只随着中继的个数呈线性增长。此外,文中还提出了两个关于最优中继位置的定理,能够就如何降低中断概率的问题给出一些直观解答,从而协助确定中继的初始位置。仿真结果表明我们提出的最优化模型能够为最优中继摆放问题提供有效的解决方案。已有文献考虑了射频(radio frequency, RF)协作通信协议在FSO信道下的性能,但是却并没有考虑这些RF协议是否应该针对FSO信道特性进行改进。我们提出了一种单中继场景下针对FSO信道的协作通信方式,这种新型的协作方式和链路的距离密切相关,且利用了FSO信道分集增益和链路距离相关的特性来改善系统性能。理论分析和实验结果均表明,这种新型的协作通信方式能够提供比经典的自适应解码转发更高的分集增益。当天气状况不理想时,备用的多跳RF链路通常被激活以维持通信。RF通信中,分集接收是一种用来提升系统性能的常见做法。然而由于FSO接收机的体积有限,故安装在同一FSO接收机上的RF天线通常会经历相关衰落。为了研究备用RF系统在相关信道下的分集接收性能,我们首先研究了单跳情况下的分层合并器(SC-MRC, SC-EGC, EGC-MRC)在任意相关的Rician衰落信道下的渐近性能,并比较了分层合并器和动态选择／最大比合并器和动态选择／等幅度合并器的性能。基于针对单跳FSO链路得到的结果,进一步推导了FSO多跳系统备用的RF多跳中继系统在使用分层合并器时的渐近性能。