随着天线数量的增加,大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）系统上行链路信号检测算法的复杂度也大幅增加,原有检测算法无法实际应用在工程项目中。因此,本文研究的内容是大规模MIMO系统下复杂度低并且性能好的信号检测算法。首先,本文重点分析两种适用于大规模MIMO系统的信号检测算法:似然上升搜索（Likelihood Ascend Search,LAS）和主动禁忌搜索（Reactive Tabu Search,RTS）算法。RTS算法凭借着“逃脱”策略,求得全局最优解向量,性能优于LAS算法,但存在复杂度过高的问题。随着收发天线数量增加,初始值计算复杂度占整体算法复杂度比例越来越大,因此初始值计算复杂度的降低对于RTS算法整体复杂度的降低也是至关重要的。然后,针对RTS算法初始值计算复杂度过高这一问题,本文给出一种基于高斯赛德尔（Gauss-Seidel,GS）迭代法的改进RTS检测算法,即通过GS迭代法替换原来的MMSE算法求解初始解向量。仿真结果验证表明:在收发天线数为128×16,信噪比为16dB时,4QAM调制方式下改进的算法和原有的RTS算法相比,误码率性能损失1.6×10^-5的前提下,初始解向量算法复杂度降低78.5%。但是随着调制方式阶数的增加,改进的算法和原有RTS算法的误码率性能差距越来越大,还需要对GS-RTS算法改进,提高其高阶调制方式下误码率性能。最后,对于GS-RTS算法高阶调制方式下误码率性能较差的问题,本文引入块分星座图（Block Constellation,BC）方法求解GS迭代法初始解向量,从而加快GS迭代法收敛速率,提升GS算法性能,进一步提高GS-RTS算法整体性能。仿真结果验证表明:在收发天线数为128×16,信噪比为16dB时,改进的BC-GS-RTS算法和GS-RTS算法相比,复杂度增加12.5%的前提下,收敛速率明显提升,16QAM调制方式下误码率性能提高3倍,得到近似于原有RTS算法性能。因此,用户采用高阶调制方式的情况下,改进的BC-GS-RTS检测算法可以很好地替代原有的RTS信号检测算法。