无线通信技术是当今世界快速发展和最具活力的行业之一。随着无线用户的增长,出现了诸如高数据率、高频谱效率以及高能量效率等关键性挑战。面对这些挑战的有效解决方案是应用大规模多天线系统和中继转发,但与此同时,为了节省射频单元的高昂费用以及硬件复杂度且保持或提高系统的相关性能,联合波束形成与天线选择技术是具有前景的研究课题。这是因为波束形成是根据已知信道状态信息并通过一系列的加权,从而使得该系统能到相关性能提升,同时运用天线选择技术可以在非大量性能损失的前提下更大的节省不必要的能源开支。本文将围绕MIMO通信系统中波束形成与天线选择的算法进行研究,主要研究内容如下:首先,对现有经典的天线选择技术与波束形成技术进行了概要的介绍、仿真以及对比各算法的优势和缺点,即对现有技术进行总结。接着,分别在大规模MIMO通信系统、单向放大转发MIMO中继通信系统、双向译码转发MIMO中继通信系统中提出了对应的波束形成与天线选择的方案。尽管传输、接收波束形成技术在通常规模的MIMO中应用甚广,但在大规模的MIMO通信系统中,学者们对波束形成技术研究甚少,即便如此,大多也只关注于接收波束形成。本文将在大规模MIMO中提出一种联合发射天线选择和波束形成技术。从大量仿真结果的比较,进一步说明了本文提出的方案在系统容量、可达速率、输出信噪比、条件错误对概率上都具有良好的性能。在MIMO中继通信中,现有文献优化目标通常是单单关注于最大化信道容量或是最大化信噪比,本文将在单向放大转发MIMO中继通信系统上提出一种能量效率的天线选择和波束形成方案。所提出算法可以联合优化传输功率、可激活天线数目和选择天线子集,另外,推导了能量效率倒数曲线的累积分布函数用来验证仿真结果。传统上,学者们在双向译码转发MIMO中继通信系统中通常假设中继节点与两源节点是等距离情况,然而面对非对称情况,本文提出一种分步的波束形成与天线选择算法。第一步,运用了非迭代的简便算法来进行天线选择从而降低RF链路的高昂消费。第二步,修正的波束形成策略可以用来抵抗非对称情况。大量的仿真结果验证了本文方案在面对非对称情况下的优秀性能,在对称情况下的性能是相当的。最后,文末对本论文进行了总结,提出了文本的优势以及不足之处。对未来可研究的项目进行了展望。