随着无线移动通信的发展,预编码技术以其提升系统容量、提高系统传输质量、降低接收机复杂度等优点一直具有很高的研究价值和工程应用价值。预编码技术的系统性能和发送端获取的信道状态信息有密切关系,然而在实际通信环境中,完全信道状态信息很难获得,因此部分信道状态信息下的预编码技术也是一个重要的研究方向。结合线性预编码技术在现阶段即将商用的5G移动通信中存在的能量惩罚效应,非线性预编码算法成为一个研究热点。本文对完全信道状态信息和部分信道状态信息下的THP非线性预编码技术进行了研究,主要研究工作和成果如下:1对MIMO系统模型进行了深入研究,分析了数据流间干扰和用户间干扰的来源,并介绍了一种基于均值反馈的信道估计模型。研究了单用户MIMO系统中的非线性THP算法,分析了其在大规模MIMO系统和部分信道状态信息下的可行性,并进行了仿真验证,指出THP算法适用于大规模MIMO系统;在部分信道状态信息下具有的误码率平台效应可以通过增加发送天线数减弱。2重点研究了多用户MIMO系统中的预编码算法。针对BD算法在大规模MIMO系统中的能量惩罚效应,THP算法在多用户系统中性能不太理想的缺点,本文对THP算法和GMD-BD算法进行组合,提出一种区别于现有BD-GMD-THP算法的非线性多用户GMD-BD-THP预编码算法。所提的算法对块对角化处理后的等效子信道进行了非线性预编码的优化,使之既能适用于大规模MIMO系统,也对系统性能进行了进一步的提升。3对本文提出的GMD-BD-THP算法进行进一步的改进,在块对角化处理部分,通过构建不同的干扰矩阵,将多用户MIMO信道划分为等效并行单用户子信道的同时初步消除等效子信道数据流间的干扰;之后,利用THP预编码技术对等效单用户子信道数据流间的干扰进行二次消除,提出一种重构干扰矩阵的二次优化预编码算法RISO-BD-THP,较大程度的改善了系统误码率性能。