随着数据传输需求的快速增长以及集成电路技术的飞速发展,更可靠更高效的数字通信系统已成为主流,而绝大多数的数字通信系统都会使用编码调制技术,其中应用最广泛的就是比特级交织编码调制(BICM)技术。将BICM技术与近二十年一直是信道编码领域研究热点的低密度奇偶校验(LDPC)码相结合,就是本文研究的基于LDPC码的BICM(LDPC-BICM)系统,WiMAX、WiFi等通信系统标准里都采用了 LDPC-BICM系统。此外,目前5G标准化会议已经确定LDPC码为增强型移动互联网业务的信道编码方案,相应的编码调制系统很可能也会采用LDPC-BICM系统。LDPC-BICM系统的研究主要包括编码、调制和编码与调制之间的交织三个方面。在过去的二十年间LDPC编码技术、调制技术以及相应的交织技术一直在飞速的发展,因此如何设计与优化LDPC-BICM系统是当今通信领域的研究热点。本文的信道编码方案主要使用基于原型图的LDPC码,这种码结构规则,存储复杂度低,支持高速解码,纠错性能优越,WiMAX、WiFi等通信系统标准都选择使用这种码。针对使用基于原型图的LDPC码和高阶调制的LDPC-BICM系统,本文首先提出了一种改进的基于原型图的外附信息转移(PEXIT)算法,可以对这类LDPC-BICM系统做整体的性能分析,分析结果为一个确定的收敛门限,该门限值越小,其编码调制系统的性能越好。接着,本文从门限值最小化的角度对这样的LDPC-BICM系统中编码、调制、交织三个方面分别进行优化设计,与传统方案相比优化后均能取得不错的性能增益。本文在优化过程中,主要是使用经典的差分演化算法解决复杂的优化问题。本文的主要研究成果包含以下几个方面:(1)交织方面。首先,本文在经典的变量度数匹配映射(VDMM)交织结构基础上做改进,提出了更通用的广义变量度数匹配映射(GVDMM)交织结构,不仅保留了VDMM交织的结构规则、硬件实现方便等优点,而且克服了 VDMM交织结构应用范围过窄的缺陷。其次,本文把GVDMM交织结构与其他文献中提出的改进型VDMM交织结构做了结构与性能上的对比,在绝大多数测试场景下GVDMM交织结构的性能优越,唯一的例外场景中两个交织方案的性能也是非常相近。接着,针对GVDMM交织方案的优化设计,本文提出了一种性能无损的快速遍历搜索方法,可以极大的降低优化设计的复杂度。同时,为了解决在有些场景下GVDMM交织方案的优化设计工作在简化后依然复杂度很高的问题,本文还引入了另一种优化设计方法,即通过差分演化算法搜寻出性能优良的GVDMM交织方案。最后,本文给出了 GVDMM交织结构在多种应用场景下的应用效果,门限分析结果和性能仿真结果都证明了这种交织结构的优越性。(2)调制方面。本文主要研究了使用门限最小化优化策略在可见光通信系统中对调制方案的优化设计。本文考虑的可见光通信场景主要有三色光并行传输、四色光并行传输、三色光合成调制和四色光合成调制等四种场景,在这四种场景下,通过门限最小化策略优化得到的调制方案与传统的调制方案相比都能取得明显的性能增益。此外,本文在多色光合成调制场景的调制方案优化结果里多次发现星座点重合现象,即星座图中多个星座点重合成一个星座点,导致多个标签对应同一个星座点的现象。受这种星座点重合现象的启发,本文在传统的PAM和PSK调制方案的优化设计中,主动实施了星座点重合操作并对调制方案做了相应的优化,最终的优化结果与仿真结果显示,与传统的调制方案相比,这种优化设计策略可以在显著减少星座图中星座点个数的同时,获得更好的传输性能。(3)编码方面。本文针对解码算法的复杂度和迭代次数均受限的应用场景,提出了一种改进的编码方案设计方法,并将改进后方法设计出的新编码方案与传统的编码方案做性能比较。门限分析与性能仿真结果均显示,在迭代解码次数受限的情况下,使用改进后方法设计出的新编码方案与传统的编码方案相比,可以获得不小的性能增益。此外,本文针对四色光并行传输的可见光通信场景,专门设计了优于传统方案的新编码方案。最后,本文设计了一套面向5G的信道编码方案,与三星公司提出的编码方案相比,有明显性能优势。