无线通信环境中，用户通信信号之间的相互干扰常常是限制系统容量的瓶颈所在。在本论文中，分别针对干扰系统中的认知、协调及大规模天线等技术进行了一系列研究工作。主要工作包括:　　在主动避免干扰的认知系统中，我们设计了以能量效率最优为目标的协作方式进行频谱感知。在无线局域网络中，基于干扰协调技术，针对其中一些基本的通信模式设计了用户之间有效应对相互干扰、实现并行通信的MAC层协议。在信道存在相关性的“热点”区域中，我们分析了通过多用户信道渐近正交化抑制用户间干扰的大规模天线技术在其中的性能表现。　　在第一个工作中，我们以一个新的思路提出了合作频谱感知的方案:在尽可能避免对授权用户干扰的前提下，以认知用户完整通信过程（包括频谱感知阶段和其后的通信阶段）中整个认知用户系统的能量效率最优为目标，寻求最合适的合作频谱感知精度。我们首先对此问题建立了数学模型，并进一步针对认知用户分布密集和认知用户分布分散的两种场景进行了深入的分析。在前一场景中，通过合理的假设及近似，选择“哪些”认知用户参与合作频谱感知能使能量耗损最低的问题将退化为确定由“多少”认知用户参与合作感知。在后一场景中，我们针对确定参与合作频谱感知的认知用户的最佳组合的需求设计了一个启发式的算法，此算法不仅具有更低的复杂度，而且我们通过仿真验证了其性能非常接近最优的穷举算法。　　在第二个工作中，我们首先基于两路数据流的多天线X信道上的干扰协调算法，对能够从X信道拓展出的各类通信模式进行了物理层算法的推导;同时，针对这些通信模式，我们在传统协议的通过信令交互建立通信链路的方式的基础上，设计了在这些新的通信模式中所需要的信令（控制帧）结构;并在此基础上分析了各类通信模式所对应的协议执行流程。此工作不仅可以实现用户并行通信，还可以通过一定的调度来构造复用增益更高的通信模式，以此带来网络容量的提升。　　在第三个工作中，我们首先分析了用户密度高、用户信道之间相似度很大的热点区域中，用户信道的数学模型是怎样建立的。其次，我们分别通过理论分析和仿真验证说明了在这样的信道模型之下，大规模天线针对单个用户的信道有良好的去相关性，这一点明显优于传统的有限数目的多天线系统;但是，热点区域中多个用户的信道之间的相关性仍然对容量有很大的影响，这一影响不能通过增加天线数目而得到解决。