在广义空间调制(generalized spatial modulation,GSM)系统中,接收端信号检测方案的误比特率性能与复杂度是重要衡量指标。将发送端的星座调制与分层叠加编码(superposition coded modulation,SCM)方案结合,接收端分层检测时各层的码本搜索空间大小仅与该层的调制方式有关,有效降低算法的搜索次数。为获得更好误比特率性能,引入迭代的思想,即迭代分层检测(iterative layered detection,ILD),通过在解调第1层符号信息时选出ite个候选组合集,分别进行第2层到第L层的循环迭代,最后选取第L层调制符号与对应码本间欧式距离最小的迭代次数,作为最优检测符号。仿真结果表明,其误比特率性能接近最大似然(maximum likelihood,ML)检测,且计算复杂度降低了81.25%。