3D MIMO技术作为5G移动宽带通信系统的关键技术之一,越来越受到国内外专家以及学者的关注。干扰抑制技术可以有效地降低干扰,提高通信质量,是3D MIMO无线通信系统的核心技术之一。量子菌群算法结合了量子计算和群智能算法的思想,可以用来求解传统的基于拉格朗日算子的优化算法无法解决的组合非凸优化问题,且收敛速度较快。本文基于改进的量子菌群算法,分别研究了考虑用户公平性情形下的基站波束下倾角以及功率的联合优化以及在大规模MIMO导频污染情形下的不同传输场景网络和速率的优化。本文的主要研究工作如下:第一,本文考虑多小区多用户3D MIMO下行链路传输系统,小区之间采取联合传输,在综合考虑系统频谱效率和用户公平性的基础上,设计了一种有效的传输方案来抑制系统中的干扰。在该方案中,联合优化小区中心用户和小区边缘用户特定的波束下倾角和功率并且保证每个用户都能达到一个可接受的最小和速率。目标优化问题是一个组合非凸优化问题,使用改进的量子菌群(IQBFO)算法对其进行求解。仿真结果表明,在考虑用户公平性(即所有用户都能以可接受的速率进行传输)的情况下,本文方案具有较大的系统吞吐量,而且,相比QBFO、QPSO、BFO等其它生物群智能算法,IQBFO算法在求解该目标优化问题时收敛更快。第二,在多小区多用户大规模3D MIMO下行链路网络中,当基站的天线数很大时,用户的信干噪比很大程度上取决于用户的位置以及大尺度衰落因子,网络的性能受各小区内的用户间干扰以及相邻小区中使用相同导频序列用户之间的小区间干扰影响。在此网络中,考虑三种不同的传输场景:广场、狭窄街道以及高楼,在每种传输场景下,用户都同时分布在小区中心和小区边缘扇区中,通过IQBFO算法求解各个基站的最优天线俯仰角,实现对这三种传输场景下的网络和速率的优化。仿真结果表明由于狭窄街道场景对应的用户分布更为密集,各个小区内的用户间干扰较为严重,导致网络的和速率较低,并且再一次证实了IQBFO算法在求解此类组合非凸优化问题时具有更佳的收敛特性。