多输入多输出(MIMO)技术在同一频带内传输多个数据流,能有效地提高系统频谱效率和链路可靠性,已被多个无线标准所采纳,如3GPP LTE和IEEE802.16m WiMAX。然而,MIMO技术已经趋于其容量极限,无法满足日益增长的数据速率需求。作为第五代移动通信系统的关键使能技术之一,Massive MIMO技术利用大规模天线能取得重大突破。相应地,在信号处理中会不可避免地提升复杂度和增加功耗。基于此,本文聚焦在Massive MIMO系统中低复杂度、高精度的检测算法。首先,本文分析讨论了Massive MIMO系统带来的机遇和面临的挑战。理论分析了其带来的信道硬化和利好传播,结果表明随着天线数的增加,信道逐渐趋于确定性分布且速率和将趋于其最大值。紧接着重点讨论了系统的频谱效率和能量效率,结果显示Massive MIMO系统可以成倍地提升频谱效率和能量效率。接着阐述了信道互易性并提出了一种相对互易校准算法,可以有效地提高Massive MIMO系统的性能和实时性。最后介绍了在多小区系统中限制Massive MIMO系统性能的导频污染问题。其次,本文基于最小均方误差(MMSE)算法提出了三种低复杂度的线性检测算法。首先借助Massive MIMO系统带来的信道硬化优势,利用有偏MMSE检测算法简化了逐比特对数似然比(LLR)的计算。紧接着,重点推导并阐述了如下三种技术:其一利用截短Neumann级数展开,避免了矩阵求逆运算;其二将MIMO检测问题转换为利用Jacobi迭代算法求解线性方程的问题;其三进一步将线性方程求解转换为利用共轭梯度求解最小化二次型的问题。分别将其与有偏MMSE算法结合得到Massive MIMO系统的线性检测算法。性能和复杂度仿真结果表明,基于共轭梯度的有偏MMSE算法能取得最佳的折中。最后,本文提出了两种新颖的非线性检测算法:马尔科夫链蒙特卡洛(MCMC)算法和置信度传播(BP)算法。针对MCMC检测,提出了基于对数域最大(MaxLog,ML)更新的逐比特MCMC算法和逐符号MCMC算法。同时为了解决所谓的陷入锁死问题,本文还提出了两种增强技术:抖动处理和归一化策略。为了进一步提高性能,在逐符号MCMC中,提出了最大和次大更新(MLSM)算法。对于置信度传播检测,提出了高阶调制的二进制BP(B-BP)算法,然而其在4-QAM调制以上的系统中性能损失严重。基于此,又提出了非二进制BP(NB-BP)检测算法。为了降低NB-BP算法的运算复杂度,进一步推导了对数域的NB-BP算法(Log-NB-BP)。MCMC算法的性能仿真显示,相比于MMSE-PIC算法,逐比特和逐符号的MCMC-ML算法均能带来性能增益。且逐符号的MCMC-MLSM算法可以趋近准最大后验概率(MAP)检测算法——STS检测的性能。BP算法的仿真结果表明,Log-NB-BP算法可以有效地工作在高阶调制系统中且相比于概率域NBBP算法,能极大地降低运算复杂度。基于上述结果,三种线性检测算法更适合于基站端天线数远大于用户数的多用户Massive MIMO系统,利用额外的自由度来降低运算复杂度。而对于收发端天线数配置相比拟的点对点Massive MIMO系统场景,MCMC算法和BP算法可以有效地发挥作用。