在多输入多输出（Multiple Input and Multiple Output,MIMO）系统中,空间调制（Spatial modulation,SM）技术被认为是一种既能实现较高频谱效率、能量利用率,又具有简单系统结构的新型传输技术,它以一种全新的方式实现了能效、复杂度和硬件成本之间的平衡,自提出以来受到了广泛关注。然而随着无线通信技术的发展,SM技术由于特殊的发射结构导致无法获得多天线的发射分集增益和空间复用增益,从而不适用于高速率、高容量的场景,特别是在未来大规模天线结构下。为了解决这一问题,本文在传统空间调制的基础上进行改进和优化,并结合预编码提出了两种新型空间调制技术。两种方案分别针对发射空间调制（Transmit SM,TSM）和接收空间调制（Receive SM,RSM）模式,在现有空间调制的基础上,还能带来额外的波束赋形增益,进而大大提高了传统空间调制系统的性能。本文首先深入研究了现有的空间调制技术,并分析了它所存在的缺陷和应用受限场景。深入研究了现有文献中基站端有信道状态信息（Channel State Information,CSI）辅助下的空间调制优化方案,包括TSM模式下基于天线偏移的空间调制,基于相位预对齐的空间调制和RSM模式下各种基于预编码辅助的空间调制,并进行了仿真和误码性能的分析。然后本文提出两种新型SM传输方案,分别是基于迫零预编码的单流空间调制传输方案（Zero Forcing Assisted Single Layer Beamforming for Spatial Modulation,SZF-SM）和一种简易波束赋形辅助的空间调制方案（A Simplified Beamforming Assisted Spatial Modulation,SBF）。SZF-SM利用迫零预编码和CSI构造特殊的空间信号,可以使得系统在发射端迫零后将所有信息比特承载在单数据流中进行传输。该结构可以避免传统MIMO多流传输造成的干扰问题,同时可在发端获得波束赋形增益,并且可在收端利用所有接收天线进行联合检测以获得接收分集增益。此外,本文还重点推导了SZF-SM系统的理论误码率上界,包括多输入单输出（Multiple Input and Single Output,MISO）和MIMO两种结构,并结合仿真结果验证了理论分析的正确性与合理性。仿真结果还显示该方案在高相关的MIMO信道下相比传统传输算法表现更优异,并且在某些特殊场景中也显示出其性能相比传统MIMO算法的优势。此外,本文还提出一种基于SBF的空间调制传输方案,该方案通过在发射端利用信道相关矩阵进行波束赋形以构造空间传输信号,该结构在发送端获得赋形增益的同时,可大大降低接收端检测复杂度。本文还对SBF传输方案提出了一种低复杂度的线性盲检测方法,该方法在接收端无需精确的信道估计信息,而只需接收信号的强度信息即可进行发送信号的检测和恢复。同时我们对该方法进行了理论分析,推导了SBF在小规模和大规模天线设置下的收发分集增益,并证明了该盲检测方法在大规模天线下其性能逼近最优的ML检测。最后本文分别从误码性能和计算复杂度两个方面仿真对比了本文所提出的SZF-SM、SBF传输方案与各种空间调制技术以及传统MIMO预编码系统的性能差异,仿真结果及复杂度分析表明该新方案在MIMO系统下其性能及复杂度都具备优越性,为未来大规模天线系统提供了新思路及可行的新方法。