随着社会信息化程度的不断加深,下一代移动通信系统对数据速率、容量、时延有着极高的要求,传统射频（Radio frequency,RF）通信早已面临着频谱资源极度稀缺的问题。而自由空间光（Free Space Optical,FSO）是一种以大气为传输介质,以近红外频段的光波为信息载体的无线视距（Line-OF-Sight,LOS）通信技术。与RF通信相比,FSO通信不仅具有丰富且免费的频谱资源,还具有足以媲美光纤的大容量、高数据传输速率、高安全保障等优势,可灵活安装于光纤难以铺设的恶劣环境,因而受到了人们的青睐。然而FSO易受天气条件影响,传输距离有限。相比之下,RF灵活适应各种天气。混合RF/FSO系统在最大化发挥FSO优势的同时也弥补了传统RF通信的不足,被公认为移动通信系统“最后一公里”用户接入难题的解决方案之一。本文探究了多用户环境下的混合RF/FSO系统的性能,以期找到系统的瓶颈进而提升性能。具体来说,本文首先给出了系统结构,整个系统由K个用户、一个译码转发（Decode-and-Forward,DF）中继以及目的地端组成。其中,K个用户经由K条RF链路于中继处复用为一条FSO链路。为充分利用这种多用户环境,进而优化整个系统性能,本文采取了最佳用户选择策略,中继端需转发多个用户中信道条件最好的“最佳用户”的信号。另外,为了更加精准的模拟移动通信环境,我们采用了κ-μ阴影分布描述RF信道的多径与阴影衰落,利用指数韦伯（Exponential Weibull,EW）模型描述FSO信道的大气湍流效应。在此基础上,本文于第三章推导了系统端到端的中断概率（Outage Probability,OP）、BPSK调制格式下平均误比特率（Average Bit Error Rate,ABER）的精确表达式,给出了高信噪比（Signal to Noise Ratio,SNR）条件下的近似表达式,探究了两跳链路的信道参数、用户数对整个系统的影响。除此之外,考虑到FSO信号在传输过程中,不仅会受到大气湍流的干扰,大气衰减、收发机随机抖动引起的动态指向误差以及固有的静态指向误差也会影响链路通信质量。为此,本文于第四章推导了FSO链路在大气损耗、大气湍流、指向误差联合效应下的扩展信道模型,并以此为基础推导了多种指向误差场景下,多用户的双跳混合RF/FSO系统在联合效应下的中断性能以及误码率性能表达式,详细研究了用户数、湍流强度、指向误差等的影响,进一步分析了孔径平均技术对整个系统的改善效果,为实际双跳混合RF/FSO系统设计提供潜在的性能改进方案。