卫星通信系统凭借其在广覆盖、大容量及灵活性等方面的优势,以及能够为基站难以部署的偏远地区提供快速便捷的宽带接入,从而非常适合作为地面蜂窝网的重要补充,被认为是未来通信基础设施的一个重要组成部分。论文主要分析了几个典型应用场景下的多用户卫星通信系统性能,从而为系统设计提供参考和依据。论文的主要工作如下:1.针对基于放大转发（Amplify-and-Forward,AF）协议的多用户卫星前向链路传输系统,对机会调度方案下系统的中断概率（Outage Probability,OP）和遍历容量（Ergodic Capacity,EC）进行了分析。首先,在考虑路径损耗和天线增益的影响下,获得机会调度方案下系统的最大输出信噪比（Signal-to-Noise Ratio,SNR）表达式。然后,在卫星链路服从double-lognormal分布的条件下,推导出多用户卫星系统的OP和EC的解析表达式。最后,仿真结果证明了理论分析的正确性,并分析了用户数、不同信道衰落场景以及中断阈值对系统性能的影响。2.分析了解码转发（Decode-and-Forward,DF）协议下同时采用上行非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术和下行NOMA技术的卫星通信系统遍历容量。首先,综合考虑天线增益和路径损耗的影响下,对采用上下行NOMA的卫星通信系统进行建模;接着,在卫星和用户都使用连续干扰消除（Successive Interference Cancellation,SIC）技术的条件下,得到DF协议下的用户输出信噪比表达式。然后,在卫星上行链路和下行链路均服从阴影莱斯分布的条件下,推导出系统EC的闭合表达式。最后,仿真结果验证了理论分析的正确性,并与正交多址接入技术进行比较,证明了NOMA技术能获得更高的系统容量。3.分析了下行链路采用层分复用（Layered Division Multiplexing,LDM）技术的多波束卫星系统遍历容量。首先,在考虑路径损耗和卫星天线增益的前提下,建立了多波束卫星下行传输系统模型,其中多波束卫星采用LDM技术向地面多个用户发送多播和单播混合信号,在用户接收端采用连续干扰消除技术分别对多播信号和单播信号进行解码,并获得其输出信干噪比（Signal-to-Interference-and-Noise Ratio,SINR）表达式。接着,利用卫星链路的统计信道状态信息,在最大化输出SINR的条件下,求得卫星的发射波束成形权矢量。进一步,基于卫星链路服从阴影莱斯分布的条件推导出系统EC的闭合表达式。最后,仿真结果验证了理论分析的正确性,并且揭示了典型参数对系统性能的影响。