大规模多入多出(Massive MIMO)技术是5G关键技术之一,高效、低复杂度的多用户检测算法是大规模MIMO成功应用的一个核心技术。消息传递类算法诸如置信传播算法(Belief Propagation,BP)及其各种变形改进算法具有计算复杂度或误码率性能上的独特优势,针对大规模天线阵列中的多用户检测问题,展开了如下研究工作。针对基于因子图的BP(Belief Propagation)算法应用于大规模MIMO系统中信号检测存在复杂度高,以及环路问题,设计了一种基于高斯树近似的BP算法。在具有信道稀疏性的角度域中,通过对消息的高斯近似简化,达到在消息传递过程中降低算法复杂度的目的。而对于循环因子图中BP算法很难收敛到准确值的问题,可以采取将因子图转化为树形结构的方式。利用Prim算法找到最优近似树,将BP算法应用到最优近似树上,从而可以解决因为环路导致算法收敛很慢的问题。仿真结果表明:基于角度域的高斯树近似BP检测算法在降低算法复杂度的前提下,能够避免因为循环问题而难以准确收敛的情况。针对二维平面阵列中多用户检测计算复杂度较高的问题,利用广义近似消息传递算法(Generalized Approximate Message Passing,GAMP)进行多用户检测。二维阵列中消息具有方位角和仰角两个角度信息,在译码过程中需要检测两个角度信息,对检测算法的要求更高。对BP算法在消息传递中进行简化,采用AMP(Approximate Message Passing)和GAMP算法进行信号检测。AMP和GAMP算法避免了BP算法所传递的复杂概率密度函数,在消息迭代中充分利用均值和方差信息,求解后验概率密度时有效地降低了计算的复杂度。仿真结果表明:GAMP算法在拥有较小复杂度的前提下,误码率性能上和BP算法接近。