在未来无线通信系统中,对多个并行发送、并经过干扰受限的“多输入多输出Multiple-Input Multiple-Output, MIMO)信道”来传输的符号进行联合检测具有重要意义。由于检测的数学模型具有普遍性,它被广泛应用于一系列重要的通信场景中,这包括(但不限于)：空分复用多天线系统的符号检测、码分多址系统的多用户检测、空分多址系统的多用户检测、存在码间干扰的带宽受限信道的均衡等等。更重要的是,随着无线通信网络的不断演进,在互相重叠的信号域上发生的多路并行传输之间相互干扰的现象几乎无处不在。为了能在这种恶劣的环境下高效通信,以经典MIMO数学模型和协作通信为基础的“网络MIMO"成为一种不可或缺的主要技术手段。然而,这类高频谱效率的无线通信网络可达到的性能一般是干扰受限的,这与传统的噪声受限的点对点系统具有很大区别。在这种背景下,一系列新的系统约束条件的引入,为干扰受限MIMO信道的联合检测带来了新的挑战。本论文旨在研究概率数据关联(Probabilistic Data Association, PDA)算法的优化及其在干扰受限无线通信系统中的应用。PDA算法的实质是一种基于高斯近似的干扰建模技术,因此它非常适用于大规模MIMO系统的符号检测。该算法的一个重要优点在于,它能以问题规模三次方的计算复杂度,提供非常有竞争力(在系统规模较大时接近最优)的性能。本文的主要贡献归纳如下：第一,针对空分复用MIMO系统提出了一种能对多个相邻发送符号矢量进行联合检测的PDA算法。通过为同一个突发传输中的多个相邻发送符号矢量设计联合检测结构,在PDA算法的每次迭代中更新所估计的符号判决概率时可以利用更多的先验信息。因此,在输入数据具有相关性的情况下,所提出的多符号矢量PDA联合检测器比传统的单符号矢量PDA检测器具有更好的性能。与后者相比,这个性能的提高是以付出更高的计算复杂度代价获得的,但是即便如此,所提出的多符号矢量PDA联合检测器仍然保持了最差情况下多项式时间的计算复杂度。另外,传统的单符号矢量PDA检测器可被视为所提出的多符号矢量PDA联合检测器的一个特例。第二,本文全面深刻地研究了空分复用MIMO系统发送端由比特矢量组成的矢量空间与由高阶矩形正交幅度调制(Quadrature Amplitude Modulation, QAM)符号矢量组成的矢量空间之间的严格数学关系。研究表明,这两个矢量空间由线性或准线性的变换所联系,而这些变换可由相应的调制变换矩阵来明确表征。这个结果对于简化无线通信中的许多信号处理问题具有潜在价值。当它被应用到符号检测问题中时,它能将传统的“信号-符号-比特”三步判决过程变换为更简单的“信号-比特”两步判决过程。第三,作为以上基本理论的拓展应用,本文研究了空分复用MIMO系统采用高阶矩形QAM星座时的比特级符号检测问题,针对该系统提出了一种通用的比特级PDA检测方案。当矩形QAM星座采用线性自然映射时,与传统的符号级PDA MIMO-QAM检测器相比,所提出的比特级PDA MIMO-QAM检测方案不仅拥有更优异的检测性能,而且计算复杂度大大降低。此外,本文研究结果表明,基于线性自然映射的比特级PDA检测器可以达到基于非线性格雷映射的比特级PDA检测器所能提供的性能下界,但是后者不仅需要假设在接收端能对动态的调制变换矩阵做出精确估计,而且具有更高的复杂度。因此,本文得到一个有趣而重要的结论——尽管非线性格雷映射在传统的符号级检测中被视为性能最优的“比特到符号”映射方式,但是在无信道编码的MIMO-QAM系统采用比特级PDA检测器时,线性自然映射是比非线性格雷映射更好的一种映射方式。第四,本文研究了PDA算法在当前通信界所关心的更复杂的下一代无线通信网络中的应用。针对多小区多用户MIMO蜂窝网路的上行链路,提出了一种基于多基站协作的软合并辅助的分布式PDA软接收方案。本文考虑了更接近实际的19小区六边形蜂窝网络拓扑模型,该网络中的所有网络实体均配置多天线,且各个小区间采用频谱效率更高的全频率复用。为了减少回程链路流量,采用了基于局部协作的消息传递方法,而非复杂度更高、回程链路流量更高的全网络链式消息传递。本文对所提出的方案在理想信道估计、非理想信道估计、信道满秩、系统过载造成信道亏秩等各种情形下进行了全面的性能评估。研究结果表明,尽管所提出的软合并辅助的分布式PDA软接收方案具有很低的计算复杂度和回程链路流量,它仍然取得了相对于传统无基站协作的接收方案的明显性能优势。此外,本文还研究了软判决信息被交换前进行量化所造成的量化误差对系统性能和回程链路流量的影响。结果表明,所提出的软合并辅助的分布式PDA软接收方案对量化误差具有很强的鲁棒性,即使使用最简单的1比特均匀量化,相应的性能损失也几乎可以忽略不计。并且,所提出的软合并辅助的分布式PDA软接收方案只需在基站间传递量化后软判决信息在本地概率表中的索引值,因而大大降低了回程链路流量。