空间调制(Spatial Modulation,SM)多天线方案是近年来提出的一种新颖的MIMO技术,独创地将空间维度引入信息比特调制过程中,利用输入比特与天线位置构成特殊的映射关系。针对SM方案频谱效率较低及不能充分利用天线资源的不足,学者们又提出广义空间调制(Generalized Spatial Modulation,GSM)和广义预编码空间调制(Generalized Pre-coding aided Spatial Modulation,GPSM)两种扩展传输方案。这些新颖的传输方案可以减少甚至消除传统MIMO系统中的信道干扰及天线同步难等问题,正逐渐成为MIMO传输技术的重要研究方向。本论文主要对SM传输方案及其扩展传输方案进行相关研究,以提升系统误符号率(Symbol Error Rate,SER)性能或误比特率(Bit Error Rate,BER)性能及降低计算复杂度为优化标准,开展的工作及创新点如下:1.主要对SM系统性能优化方案深入研究。结合一致界理论分析符号星座图对系统性能的影响,设计出新的Star-QAM符号星座图方案,显著地提升系统的SER性能。从天线选择技术可以提升SM系统性能入手,提出综合考虑欧式距离及天线间相关性的天线选择方案。4bit/s/Hz系统频谱效率下,该方案在明显提升系统BER性能基础上,计算复杂度仅为最优天线选择方案的25%。2.高速传输的GSM系统,由于激活多个发送天线使得其需要更复杂的接收机进行检测。为了简化接收机的设计,提出相位判决检测算法,依据排序准则将候选天线组合降序排列,再利用相位判决对调制符号进行检测,获得检测结果。仿真结果显示,相位判决检测算法的系统BER性能逼近性能最优的最大似然(Maximum Likelihood,ML)检测性能。并且GSM系统的频谱效率分别为8bit/s/Hz和12bit/s/Hz时,相位判决算法的复杂度仅为ML的7.5%和2%,在扩展传输方案中实用性较强。3.针对GPSM系统的联合检测算法不能在BER性能与复杂度之间平衡的问题,提出基于信号分组的解决方案。信号分组检测算法将检测分为多个阶段,每个阶段保留不同分支路径,最后依据各路径的累积度量值得到估计值。该算法通过保留不同的分支路径数,从而缩小检测空间。仿真结果显示,信号分组检测算法牺牲较小的BER性能,获得计算复杂度上的极大降低。12bit/s/Hz频谱效率时,该算法的复杂度不及ML的11%,能够取得性能与复杂度之间的折中。