在移动通信系统中,传输的有效性和可靠性一直是系统设计的追求。为保证可靠性,信道编码技术必不可少。在众多信道编码技术中,低密度奇偶校验(Low-Density Parity-Check,LDPC)码,凭借着有效的编码和接近Shannon限的优异译码性能,成为了一种主流信道编码技术,被广泛应用到现代无线通信系统中,例如Wi-Fi、Wi-MAX、第五代移动通信(5G)系统等。但是,现有的LDPC码编译码方法还存在改进的空间。因此,有必要对其进行研究以进一步提高系统可靠性。在现代LDPC码中,校验矩阵普遍采用准循环(Quasi-Cyclic,QC)结构。具有这种结构的码被称为QC-LDPC码。目前性能优异的QC-LDPC码大多由原型图扩展构造而来。因此,这一类通过原型图扩展构造的QC-LDPC码又被称为原型图LDPC(ProtographBased LDPC,PB-LDPC)码。为提高现有PB-LDPC码的编译码性能,本文分别从编码方法中校验矩阵的构造方法与编码结构、原型图,以及迭代译码算法三个方面展开设计与优化的研究。主要研究工作和贡献包括以下内容:首先,在已有原型图的基础上,本文分别从构造方法与编码结构两个方面改善扩展出的码字性能。在构造方法方面,针对由单位循环阵构造的QC-LDPC(Single-Weight Circulant QC-LDPC,SQC-LDPC)码在高码率情况下面临原型图节点重量受限的问题,提出了一种具有多重循环阵的QC-LDPC(Multi-Weight Circulant QC-LDPC,MQC-LDPC)码构造方法。为支持多重循环阵构造,本文在最小错误渐进边生长算法中引入了防止多重循环阵产生短圈的方法。当扩展因子固定时,相比于传统的SQC-LDPC码,MQCLDPC码能够获得更好的原型图结构、码字重量分布,以及停止集重量分布。实验结果表明,在加性白高斯噪声信道下,无论是在高信噪比还是低信噪比区域,相比于Wi-Fi标准以及Wi-MAX标准中的传统高码率SQC-LDPC码,本文构造的MQC-LDPC码拥有更好的性能。在编码结构方面,针对低度数节点导致错误平层表现差的问题,本文为QC-LDPC码提出了一种所有节点度数为3的块三对角编码校验结构。这种没有低度数节点的块三对角校验结构能够有效改善错误平层性能,并且支持低复杂度编码。本文利用这种结构和模提升(Modulo-Lifting)方法,构造了一系列可伸缩码长的QC-LDPC码。仿真结果表明,相比于现有可伸缩码长的码字,本文构造的码字能够在错误平层区获得更好的性能。然后,针对5G系统中超可靠低延时通信应用场景下短码长、迭代收敛快的低码率LDPC码设计问题,本文提出了一系列具备码率兼容特性的Raptor-Like结构原型图。这些原型图由Richardson-Urbanke(RU)给出的低码率码推广获得。在提出的原型图中,本文应用加入迭代次数限制的原型图外部信息转移(Protograph-Based Extrinsic Information Transfer,PEXIT)分析方法优化连接度数。通过优化得到的原型图,构造了码率兼容的LDPC码并进行了仿真验证。仿真结果表明,在码长较短和译码迭代次数较少时,本文提出的LDPC码相比于原始的RU低码率码、高通公司在5G系统标准化提案中给出的低码率码,以及传统的AR4A低码率码,拥有显著的性能优势。最后,针对传统的归一化最小和(Normalized Min-Sum,NMS)以及偏移修正最小和(Offset Min-Sum,OMS)译码算法在低码率码译码时误块率性能恶化的问题,本文提出了一种广义的线性近似最小和(Linear-Approximation Min-Sum,LAMS)译码算法并用神经网络优化其中的因子。提出的LAMS算法通过为每次迭代引入乘性与加性因子,线性调整校验节点更新和信道输入的软量幅度。这些因子由一个小型浅层的神经网络利用LAMS译码器每次迭代产生的训练数据优化获得。本文针对5G系统中的PB-LDPC码优化了LAMS译码器并给出了每次迭代的线性因子。仿真结果表明,LAMS算法相比于传统的NMS算法以及OMS算法展现出了显著的性能提升,甚至在一些高信噪比区域表现出了比置信传播(Belief Propagation,BP)算法更好的性能。