当今,无线通信业务高速发展,传统的无线频谱资源的使用方式导致了频谱资源的短缺和浪费,严重制约了无线业务的发展。认知无线电的出现是解决频谱危机的一个有效的办法,因此成为了研究的重点,波束成形技术结合中继网络的应用,可以进一步增加通信的距离,减缓了衰落和干扰对通信的影响,从而保证了通信的可靠性与安全性。本文主要研究认知双向中继系统中的波束成形算法。首先,本文研究了在TDD模式下的认知双向中继系统中的鲁棒性波束成形技术。针对工作在TDD模式下的认知双向中继系统,研究了认知中继端鲁棒性波束成形技术。考虑到中继端无法准确估计与主用户接收端之间信道状态信息,以及中继节点额定功率有限,本文设计了认知双向中继系统鲁棒波束成形算法,在满足认知用户接收端信干噪比,中继端总的发射功率限制以及每个中继节点发射功率限制的条件下,最小化对主用户的干扰。仿真表明,新算法与传统波束成形算法相比,能够以极少的性能损失为代价,从而保证了系统的正常工作。其次,本文研究了认知混合双向中继系统的波束成形技术,考虑到在传统的认知AF双向中继系统中,中继端在对信号放大的过程中同时也会对噪声进行放大的问题。根据认知双向中继系统模型,在满足认知用户接收端的信干噪比以及中继端总发送功率限制的约束条件下,以降低对主用户接收端的干扰为目的,在中继端进行混合波束成形设计。仿真结果表明,与传统的认知AF双向中继系统中的波束成形算法相比,新算法降低了对主用户接收端的干扰,提高了系统性能。最后,本文研究了基于多中继选择的认知双向中继系统波束成形技术。考虑到在认知双向中继系统随机选择中继节点可能会导致较大的误码率与失真,降低系统的性能的问题,本文从中继选择的角度研究了认知双向中继系统中基于中继选择的波束成形技术,在满足对主用户接收端的干扰门限、中继端总的发射功率限制的约束条件下以最大化认知用户和速率为目标进行中继选择和中继端波束成形设计。然后运用了较低复杂度的算法来解决优化问题。仿真表明,在中继端选择的中继节点个数相同的情况下,与基于随机选择的波束成形算法相比,新算法提高了认知用户最大和速率,改善了系统性能。