分层调制作为一种新兴的重叠码技术,现已成为重要的研究趋势。其能够对抗卫星信道中降雨等衰落因素并使得卫星通信系统的频谱效率提高。本文对卫星信道下的分层调制技术进行了深入研究,主要包括基于分层调制系统的APSK(Amplitude Phase Shift Keying)星座图设计及优化、自适应分层编码调制、编码辅助与矩估计联合信噪比估计等技术,并且进行了性能仿真。本文的创新性贡献主要分为以下几个方面:1.提出了基于分层调制系统的高阶APSK星座图设计及优化方法。结合分层调制的特点,重新设计了自定义的16阶至64阶APSK星座点分布,使之能满足分层调制传输的特点,其相较于传统的分层调制QAM(Quadrature Amplitude Modulation)系统有更小的PAPR(Peak to Average Power Ratio)以适合卫星信道的非线性特性;并进一步提出优化策略,通过推导比特信道容量与切尔诺夫界,在特定的信道模型下通过内点法和改进的BS(Binary Switching)算法分别对星座图的尺寸及编码标签进行优化,获得译码性能提升。2.提出了编码辅助与矩估计联合的信噪比估计方法。提出一种基于编码辅助策略的信噪比估计器,先由不同算法的子估计器进行估计而得到预选估计值,再通过线性分组码中校正子作为估计性能的反馈度量,最后选择出精度最高的预选值作为终值。所提估计器解决了在传统的信道估计中各类估计器估计范围有限的问题,改善了低信噪比下的估计性能。3.提出了一种自适应分层编码调制方案。参考DVB-S2及DVB-S2X中的ACM(自适应编码调制,Adaptive Coding and Modulation)技术,提出分层调制与ACM相结合的“分层自适应编码调制”方案;再结合对应的星座图设计优化方法,得到分层调制系统的编码调制集,使得分层调制系统能够根据信道条件自适应改变其参数;最后结合时分复用下的用户策略,在降雨和天线增益衰落的条件下,使得系统的传输速率提升。