多输入多输出(Multi-Input Multi-Output,MIMO)技术在提升通信系统容量、提高传输速率、改善传输质量等方面具有明显的优势,进一步挖掘MIMO技术的性能优势在未来的5G通信中备受关注。基于正交频分复用的索引调制(Orthogonal Frequency Division Multiple with Index Modulation,OFDM-IM)技术具有能效高、抗频偏强等特点,适用于5G通信中的高可靠、低功耗等应用场景。稀疏码多址(Sparse Code Multiple Access,SCMA)技术是非正交多址技术的候选技术之一,可以提供更多的连接数和更高的频谱效率,在5G通信中的海量连接应用场景方面具有巨大潜力。面向5G通信,单一的传输技术将难以满足多种新兴业务的需求,针对不同的场景,5G系统的设计很可能采取不同的传输技术。因此,本论文基于MIMO信道,对多天线的OFDM-IM和SCMA系统进行了研究,分析了现有检测算法的优势和不足,并针对这两种不同的系统分别提出了改进型的算法,在误比特率性能和实现复杂度之间取得更好的平衡。本文的具体工作如下:第一章首先回顾移动通信的演变历程,然后详细介绍了5G的研究现状,最后介绍了本文的主要内容和安排。第二章对未来5G通信系统的潜在无线传输技术进行了概述。对MIMO技术、OFDM-IM技术、SCMA技术的系统模型、技术特征以及经典的检测算法进行了分析和介绍。第三章对基于OFDM-IM的多天线系统的检测算法进行了研究。首先介绍了多天线的OFDM-IM系统模型以及经典检测算法。针对现有算法的不足,提出了两种改进的算法。最后,对多天线的OFDM-IM系统中的检测算法进行了理论仿真和分析,并给出了误比特率性能分析和复杂度比较。第四章对基于SCMA的多天线系统的检测算法进行了研究。首先介绍了多天线的SCMA系统模型,并总结了三种常用的检测算法。根据现有检测算法存在复杂度高或误比特率性能差等缺陷,提出了三种低复杂度的检测算法。最后,对多天线的SCMA系统中的检测算法进行了理论仿真和分析,并给出了误比特率性能分析和复杂度比较。第五章对全文进行了总结,并探讨了未来的研究点。