由于未来移动通信网络容量需求不断提升,学术界对各种可以支持大容量通信的技术展开了深入的研究。其中,多输入多输出（Multiple Input Multiple Output,MIMO）技术被认为是最具潜力的技术之一。然而,MIMO技术的应用仍然面临许多问题,尤其难以为接收端提供一种高效的检测算法。尽管最大似然（Maximum Likelihood,ML）检测已经能够获取理论上最低的误码率,但是其计算复杂度随着天线数量的增加而显著增加。难以给出一种能够以较低的运算复杂度获取较低的误码率的检测算法是MIMO技术领域长期的痛点问题。与此同时,以机器学习为代表的人工智能技术近年来发展迅速,逐步成为一种可以解决复杂问题的通用数学工具。这项技术尤其适合解决多分类问题,而分类问题与信号检测有着天然的相似性。本文主要研究了利用机器学习算法改进传统检测算法的方案,具体工作如下:一、介绍了近年来MIMO信号检测的研究现状和进展,并分析了以机器学习为核心的人工智能技术在通信信号检测领域的应用前景。二、机器学习算法是数据驱动,而传统的通信理论是模型驱动,因此机器学习算法不能简单地应用在通信系统中。本文分析了神经网络在应用到通信信号检测中的问题与难点,然后提出了一种面向恒参信道的基于神经网络的智能化检测方案。具体来说,通过对信道矩阵排序及分块,将信号检测的过程分为线性检测和非线性检测两部分,并分别使用各自适合的算法进行检测。通过结合神经网络算法和传统通信模型使算法的误码率和运算复杂度达到平衡。本文提出的算法与传统算法相比,可获得更低的误码率,并可以通过调节参数调节误码率和运算复杂度。三、本文面向衰落信道下多用户上行链路信号检测,提出了两种MIMO信号检测算法。算法一是对本文恒参信道下的算法做出改进,使得该算法可以在随参信道的条件下使用。算法二是根据块对角化（Block Diagonalization,BD）检测算法做出改进,通过将传输系统的信道矩阵转化为对每个用户的等效信道矩阵从而缩小检测算法的问题规模并抑制用户间的干扰,然后通过训练一个较小的神经网络来为每个用户单独检测信号。与传统算法相比,使用智能算法的检测方案在仿真的过程中表现出更好的性能。同时本文对与不同参数下的智能检测算法分别单独给出了仿真测试,依据实验结果对算法的性能及优缺点做出了必要的说明。最后对尝试过的强化学习方案做出了介绍和讨论。基于上述的讨论,本文探讨了以机器学习为代表的人工智能技术在无线通信信号检测领域的局限性。机器学习相关技术不应该通过堆叠运算模型和长时间的调参去获取在通信系统应用中的良好性能,而以模型驱动为特征的通信理论可以用传统模型去弥补智能算法在解释性上的不足。