大规模多输入多输出（Large-scale Multi-Input Multi-Output, Large MIMO）传输技术在传统的多天线传输技术基础上，将收发天线数增大至几十甚至成百上千根，使得系统具有更大的系统容量和更高的频谱效率，成为当前无线通信领域的重要研究课题之一。在多天线传输技术中，空分复用（Spatial Multiplexing）和空间调制（Spatial Modulation）是其两个重要分支，同样也是适用于大规模多输入多输出系统的空域技术。空分复用技术具有较高的数据传输速率和系统信道容量，但天线信道间干扰（Inter Channel Interference, ICI）严重，系统接收机检测复杂度高。空间调制技术在传统的信息比特调制基础上扩展了空间维度，建立了发射天线的索引信息与输入的空间比特之间的映射关系，实现空间和星座符号的多维调制，与传统的多天线传输技术相比，空间调制系统减小了天线信道间干扰，缩减了发射端射频支出，降低了接收端系统检测复杂度等特点，已成为多天线传输技术的研究热点之一。　　本论文在传统多输入多输出传输技术基础上，分别研究了基于空分复用和基于空间调制的大规模多输入多输出传输系统接收端检测技术，探讨其优化算法并且针对两种系统分别提出了新型的检测方案。　　本论文的具体工作可以归纳如下：　　第一章介绍了基于空分复用、空时分集和空间调制的MIMO系统模型和数学描述，并介绍了本文的主要工作和内容。　　第二章简述垂直分层空时结构（Vertical Bell Labs Layered Space-Time, V-BLAST）和空间调制两种多天线传输技术下的接收端检测算法，并对这两类多天线传输技术的接收端性能进行仿真，比较误比特率性能并加以理论分析。　　第三章探讨基于空分复用的大规模MIMO检测技术，一方面归纳总结该系统接收端的线性检测和近最大似然检测算法，并给出各种算法的计算复杂度和仿真比较误比特率性能，另一方面提出一种新型的匹配滤波干扰抵消检测算法，该算法适用于特殊的天线配置结构，通过理论分析和仿真，比较改进算法与传统匹配滤波干扰抵消检测的误比特率性能。　　第四章探讨基于空间调制的大规模MIMO检测技术，首先针对大规模空间调制多天线传输系统提出了一种基于星座图降阶的高效检测算法，再针对大规模广义空间调制多天线传输系统提出了新型近最大似然检测算法，最后通过理论分析并基于MATLAB仿真，比较各种检测算法的误比特率性能和算法的计算复杂度。　　第五章对全文工作内容进行总结，并指出未来可能的研究方向。