高通量卫星通信系统除了拥有卫星通信覆盖范围大、对通信距离不敏感等优势以外,有更高的吞吐量和更低的通信成本,这弥补了以往卫星通信系统的不足。近些年来高通量卫星通信得到了迅速的发展,应用领域大幅扩展,并面临更大的应用需求。与以往卫星通信相同,高通量卫星以单播和广播为主要的物理层传输方式,无法高效的处理一些具有多播特性的业务。因此,需要进一步提高系统容量以及用户容纳数量,尽可能采用高效的物理层传输技术。目前的高通量卫星通信系统利用多波束天线在覆盖区域形成大量点波束,在波束间采用四色频率复用获得相对较高的频率复用次数,实现高吞吐量。四色频率复用并未充分利用有限的频谱资源,而采用全频率复用能够更加充分利用频谱资源从而增加系统的用户容纳数量,同时可以进行更加灵活的频带资源调度。高通量卫星通信系统采用全频率复用时,多个波束的馈源可以进行协作实现物理层多播,即根据用户的信道状态利用同一无线资源同时为一个或者多个具有相同业务请求的多播用户分组提供的具有针对性的点对多点的物理层传输。物理层多播可以节省无线频谱资源,增加用户数容纳数量。目前,高通量卫星通信系统中对于物理层多播传输的研究相对较少,仅在为提高帧利用率的帧复用传输的研究中考虑了多播传输,并未充分利用物理层多播传输的优势。本文对全频率复用的高通量卫星通信系统中的物理层多播传输进行了研究。针对不同应用场景,考虑高通量卫星通信特点,利用用户的信道状态信息（Channel State Information,CSI）,采用用户调度和预编码技术,提高物理层多播传输性能。论文的具体研究内容及目标如下:第一,鉴于现有高通量卫星通信系统并未充分利用物理层多播传输的优势,对物理层多播传输应用场景下的多播传输模型进行了分析。目前,在高通量卫星通信系统中仅有旨在提高帧利用率的帧复用传输涉及到多播传输。多播传输本身可以高效地为更多类型的业务提供服务,因此,确定高通量卫星通信系统多播传输的应用场景十分重要。本文对高通量卫星通信系统中多播业务传输和帧复用传输两个应用场景下的物理层多播传输进行分析,归纳整理出各场景对应的多播传输模型,确定采用用户调度和预编码技术提高物理层多播传输性能,为后续的研究打下基础。第二,对于多播业务的传输,以提高传输的频谱效率为目标提出基于用户分组的多播传输方式,并设计用户分组算法。高通量卫星通信系统具有较大的服务区域,多播业务的用户数量可能很大,此时需采用较低频谱效率的传输才能保证所有用户都能得到服务。因此,需要解决用户数量大导致的多播传输频谱效率低的问题。论文分别考虑了多播区域为多波束和单波束两个场景。多波束场景下根据用户的信道特性将用户划分成多个子分组分别进行多播传输,以提升每个用户参与传输时的频谱效率,并提出了两种低复杂度的用户分组算法。单波束场景下提出了一种利用混合调制实现不同信道状态用户不同传输速率的分层传输方案,以提高信道状态好的用户的传输频谱效率。第三,对于帧复用传输,针对高通量卫星通信链路延迟大和用户信道相对稳定的特点,以保证用户公平性为目标设计低复杂度的用户调度和预编码算法。全频率复用高通量卫星通信系统中相邻波束之间会产生同频干扰,可以通过采用用户调度和预编码处理来提高物理层多播传输的性能。目前的相关研究很少针对高通量卫星通信系统的信道特点进行算法设计。高通量卫星通信本身链路延迟较大,采用复杂度较高的算法会进一步增加延迟,而其信道相对稳定的特点,一方面利于利用CSI信息提升传输性能,一方面还需要保证用户服务的公平性。本文将调度问题分解为两个调度子问题以降低复杂度,在调度算法设计中以保证用户公平性为目标。同样,将预编码问题分解为预编码方向向量求解和功率分配两个问题,利用信号泄漏噪声比的概念建立优化问题分别求解每个多播分组的预编码方向向量,降低了优化问题的复杂度,并以最大最小公平性为优化目标进行功率分配以保证用户的公平性。