大规模多输入多输出(Massive MIMO)技术作为5G移动蜂窝网络的关键技术之一,近年来已经成为无线通信领域的研究热点。空间调制(SM)技术和广义空间调制(GSM)技术利用Massive MIMO的空域信息隐性地传输信号,不仅能有效克服信道间干扰,而且降低了天线同步要求。由于隐形地传输信号,可提高信息传输速率,抵消由于空闲天线造成的频谱效率降低。同时,因为有效射频链路较少,可降低系统的实现成本以及复杂度,在频谱效率和能量效率之间达到折中,被认为是Massive MIMO系统的有力候选技术。本文以GSM系统为研究对象,重点研究GSM系统的接收端检测算法和激活天线组合选择算法,以改善系统性能。主要工作和创新点如下:1.在激活天线发射独立信息的GSM系统的检测算法中,最大似然(ML)检测算法复杂度极高,而复杂度较低的最小均方误差(OB-MMSE)检测算法的天线排序效果不明显。针对以上问题,本文提出一种基于迫零和部分最大似然的检测算法,相较于OB-MMSE算法,该算法的天线排序效果更优,且误码性能更好,尤其在高阶调制时优势更明显。在此基础上,本文又将串行干扰抵消思想加入到算法中,提高星座符号检测的正确率,进一步改善误码性能。2.对于激活天线发射相同信息的GSM系统,本文提出一种基于信号矢量和最小均方误差的低复杂度检测算法,该算法利用信号矢量的夹角对天线组合排序,然后根据排序结果采用MMSE依次估计星座符号,并根据预设阈值判断是否终止检测。该算法利用了天线发射相同信息的特点以及阈值的设置实现系统误码性能和计算复杂度的折中,具有一定的意义。3.针对GSM系统在相关信道下性能恶化的问题,本文利用GSM系统天线组合存在冗余的特点,提出一种基于范数和相关性的递增发射天线组合选择算法。该算法通过选取相关性较弱的发射天线组合,优化相关信道下激活天线组合集合,仿真结果表明,在瑞利衰落相关信道下,该算法可以明显提高系统的误码性能。