近年来,大规模多输入多输出(Multiple Input Multiple Output,MIMO)成为了第五代移动通信(5th Generation,5G)物理层的核心传输技术。大规模MIMO在不增加额外带宽的情况下,通过最大限度挖掘系统的空间自由度,提高了系统的传输速率和传输的可靠性。然而,大规模MIMO也带来了昂贵的射频开销、复杂的信号处理等系统设计方面的重要挑战。因此,提供高速、可靠、高效的大规模MIMO解决方案,成为5G为代表的未来移动通信的重要发展方向。空间调制(Spatial Modulation,SM)是近年来得到发展的新型MIMO传输技术,它通过激活天线的索引和数字调制星座符号共同携带信息,能够提供基于稀疏射频的MIMO设计方案,从而简化了传统的MIMO结构,降低了MIMO的实现成本,有望进一步提供高效的大规模MIMO解决方案。本论文以基于空间调制的大规模MIMO系统设计为目标,探索了其中的信号检测、空间分集和复用、差分设计等重要问题。为了简化大规模MIMO下的信号检测复杂度,本论文的第二章研究了大规模空间调制的信号检测器设计。一方面,针对平坦衰落信道,利用空间调制的星座稀疏特性及压缩感知的思想,提出了改进的压缩感知检测算法,降低了传统检测技术所固有的误码率(Bit Error Rate,BER)平台,在系统的误码率性能和检测复杂度之间取得了较好的平衡;另一方面,针对频率选择性衰落信道,研究了软入软出的迭代均衡检测,进而提出了多种改进的最小均方误差时域Turbo均衡检测算法,这些算法相比传统频域Turbo均衡算法具有性能优势,并且能够更好地适应收发两端不对称的天线数量配置。为了提升系统的传输性能,论文在第三章探讨了大规模空间调制的分集方案。论文分析了传统空间调制分集系统在大规模天线下的性能,阐明了系统设计的约束和问题;进而提出了一种新的大规模空时编码空间调制联合传输方案,并通过分析,获得了精确的理论误码率表达式;此外,论文还进一步提出了收端低复杂度的检测技术。为了提升系统的频谱效率,论文在第四章探讨了大规模空间调制的复用方案。一方面,提出了一种新型大规模空分复用空间调制的发射机方案,并在接收端提出了基于压缩感知和消息传递的高效检测算法;另一方面,论文理论推导了新系统的误码率表达式,揭示了新系统相比传统系统的性能优势。过高的导频开销是大规模MIMO系统设计的一大难题。针对这个问题,论文的第五章研究了大规模空间调制的差分设计,从而避免了导频开销,提升了频谱效率。一方面,针对差分空间调制(Differential spatial modulation,DSM)系统提出了一种低复杂度的检测方案,并将该方案应用于大规模MIMO场景。另一方面,为了进一步获得大规模MIMO下的分集增益,论文研究了差分的空时编码空间调制传输方案,设计了发端的新型传输矩阵,以及收端的信号检测算法,并通过推导得到了系统的误码率表达式。最后,第六章对全文进行了总结,并展望了未来的研究方向。