在卫星通信中,由于卫星信道是典型的非线性信道,经常使用等能量符号的调制方式以便非线性放大器能以最小的功率回退工作在线性区内。本文将一种新型调制方式多进制超相移键控调制(MHPSK)应用到卫星通信系统中,针对卫星通信系统的抗噪声性能和非线性失真问题展开研究。本文首先简单介绍了DVB-S2系统的编码和调制技术,详细介绍了DVB-S2系统中LDPC编解码的原理和采用的四种调制方式的软信息提取方法。随后重点研究了多进制超相移键控调制的原理,MHPSK是一种频谱效率高的调制方式,它用四个正交基函数增加空间中不同符号间的距离,与其他调制方式相比,在相同的比特信噪比下降低了比特错误率。接下来介绍了16-HPSK、32-HPSK和64-HPSK调制的星座映射方案,对其传输系统性能进行了计算机仿真,并且分析了MHPSK的频带利用率。进一步,推导了其软判决的方法,并给出了16-HPSK、32-HPSK和64-HPSK的软解调算法,然后对MHPSK系统的性能进行了计算机仿真,并将其与DVB-S2系统性能进行比较。仿真结果说明,与DVB-S2标准性能相比有较大的提高。最后,推导了16-HPSK、32-HPSK和64-HPSK的峰均比且进行了功率回退仿真,结果表明,由于MHPSK的符号是等能量的,适合应用到信道是非线性的卫星通信系统中。