多输入多输出(Multi-Input Multi-Output,MIMO)系统是下一代无线通信系统的重要备选方案。预编码技术是MIMO无线通信系统中的关键技术之一。预编码能利用发射端信道信息对发射信号进行预处理,从而显著的增加系统容量、提高通信可靠性;是当前无线通信技术的研究热点。模代数预编码又称为Tomlinson-Harashima预编码,是非线性预编码的典型代表。模代数预编码最先应用于单天线系统后来被扩展到MIMO系统,在消除码间干扰、子载波间干扰、多用户干扰以及多天线系统信道均衡方面有着广泛的应用。本论文以模代数预编码为研究重点,分单用户和多用户两种应用场景进行讨论;对影响系统性能的关键因素作了理论分析,并以此为出发点对模代数预编码进行了深入地研究。本论文的主要研究内容与贡献包括:多调制方式、天线扩展方式、天线选择方式和改进结构模代数预编码。多调制方式模代数预编码能够充分利用多输入多输出系统的空分复用能力,满足不同用户的服务质量需求。天线扩展方式和天线选择方式能够在各种不同的系统天线配置情况下使用模代数预编码,增加了模代数预编码在实际应用中的灵活性同时以增加天线配置为代价获得显著的性能增益。改进结构是模代数预编码的一种优化方案,通过附加有限码本构造等效信道,能够在不增加天线配置的前提下获得可观的性能增益。本论文以纵向研究为主线,分为五个章节。第一章为绪论,对全文的主要内容和背景知识做了概括性的介绍,主要介绍了MIMO和预编码方面的基础知识。第二章详细介绍了模代数预编码基本理论,分单用户和多用户两种场景介绍了系统模型、矩阵构造和系统性能,是本论文后续的研究出发点和比较基础。第三章深入讨论了多调制方式、天线扩展方式和天线选择方式,是对模代数预编码的深入研究。第四章根据第三章的研究结论,借鉴有限反馈思想提出了单用户模代数预编码的一种改进结构,是第三章研究结果的进一步深入。第三章和第四章是本论文的核心部分,是主要工作量和创新点的体现。第五章总结全文,并对下一步研究提出了建议。