随着无线数据业务需求的快速提升,LTE-Advanced (LTE-A)需要支持更高的峰值数据速率、频谱利用率和小区边缘用户性能。而协作通信作为LTE-A中一种非常有潜力的核心技术,能够通过无线网络中多节点的协作传输,有效地扩大网络边缘覆盖、提高小区的频谱效率,并且在降低小区边缘干扰、提高小区边缘用户的通信质量的方面具有显著的优势。同时,为了使这种协作通信能够得到更好的系统性能,可以将预编码技术引入到协作通信系统中。它通过在各节点的发射端利用信道状态信息对信号进行预处理,以达到降低系统误码率和提高系统吞吐量的目的。本文主要对协作通信中的预编码技术进行了以下三个方面的研究：一、基于认知无线电的概念,研究了一个存在多个中继协同地为多个主用户和次用户进行服务的认知无线电网络。设计了基站与中继的预编码矩阵,来最小化具有最大均方误差(MSE)的次用户的MSE值。同时主用户的MSE需要小于一定的阈值且中继的功率满足约束条件。由于同时优化基站和中继的预编码矩阵是个非凸的问题,因此,采用迭代的算法将此优化问题转化为两个二次锥规划(SOCP)问题,并通过凸优化软件包分别解得基站和中继的预编码矩阵的最优数值解。最后,仿真结果验证了所提方案可以同时使主用户和次用户得到较好的MSE性能。二、由于双向中继比单向中中继更能提高频谱利用率,研究了一个更普遍的包含多对主用户和多对次用户的双向中继系统。提出了上行和下行信道误差满足范数误差模型时中继的预编码设计方案,来最大化具有最小信干噪比(SINR)的次用户的SINR直。同时为了使次用户带来的干扰不会对主用户的正常通信造成影响,在凸优化过程中将此干扰约束在一定范围内,并将整个优化问题转化为一个半正定规划(SDP)问题。然后,通过仿真结果可以验证这种鲁棒性预编码方案与非鲁棒性预编码相比,在抑制干扰方面具有明显的优势。三、根据物理层安全速率的概念,研究了在多个基站协同地为单个用户进行服务的多输入多输出(MIMO)场景下,分别讨论了存在一个窃听者和多个窃听者时,对系统的物理层安全速率进行优化。设计了多基站联合预编码方案,将最大化合法用户的速率且同时满足窃听者的速率小于一定阈值的问题转化为一个SDP问题，并通过凸优化软件包可以同时获得各基站预编码矩阵的最优数值解。避免了传统的迭代算法通过先后优化各基站的预编码矩阵而不能确保得到的解为全局最优解的缺陷。