信道编码的研究热点之一是寻找性能优异、复杂度低的编译码方案。低密度校验（Low-Density Parity-Check,LDPC）码是一类性能优异的好码,并在通信系统中获得了广泛的应用。研究发现多元LDPC码在中短码长时的纠错性能比二元LDPC码更出色,特别是与高阶调制结合的时候。但目前多元LDPC码的软判决译码算法复杂度太高,不利于硬件实现,而复杂度较低的基于可靠度的译码算法大部分只适用于BPSK调制系统。本文主要研究了多元LDPC编码调制系统中基于可靠度的低复杂度译码算法,提出了两种适用于高阶QAM调制的联合迭代译码方案,并针对其中的一种方案设计了硬件实现。主要工作如下:首先本文介绍了多元LDPC码的基本概念和多元LDPC编码调制系统,接下来对多元LDPC码的两种典型译码算法FFT-QSPA和EMS做出了详细的描述,仿真结果验证多元LPDC编码调制系统在不同译码算法下均具有良好的的纠错性能。其次,文章重点研究了多元LDPC编码调制系统中基于可靠度的译码算法。针对多元LDPC高阶编码调制系统,从检测器和译码器联合迭代的角度出发,提出了两种基于比特可靠度的联合检测译码算法。联合检测译码算法A使用译码器的输出更新信道接收值,并提出一种根据判决边界计算比特可靠度的方法;联合检测译码算法B将比特对数似然比作为可靠度量,通过检测器和译码器之间的迭代,不断更新比特软信息。仿真结果表明,在BER=10^-5时,算法A比算法B的性能差0.7 dB,但是算法A的复杂度低于算法B。最后针对联合检测译码算法B,文中设计了一种硬件实现方案,以GF（16）域上的多元LDPC码为例,详细分析了每个功能模块的设计结构。