新一代移动无线通信系统的主要特点之一就是前所未有的高吞吐量的数据传输需求,预计在2021年全世界范围的智能手机每月将产生50拍字节的业务量,而提升无线通信系统传输速率最直接的方式就是提升系统的频谱效率（Spectral Efficiency,SE）和传输带宽。在移动通信网络中,传统的sub-6GHz频段的可利用带宽已经接近饱和,而毫米波（Millimeter Wave,mm Wave）通信（大约30GHz-300GHz）有超过150GHz的可利用频带。同时同频全双工（Co-frequency Co-time Full Duplex,CCFD）传输可以实现信号的同时收发,在理想条件下可以实现两倍于传统半双工（Half Duplex,HD）系统的频谱效率。全双工毫米波系统实现了频谱效率和传输带宽的提升,而大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）的配置可以在减少小尺度衰落和所需要的传输能量的同时实现对干扰的抑制。无线回程中继是全双工毫米波系统的重要应用场景,一方面无线回程中继部署灵活、成本较低,另一方面全双工毫米波中继拓展了系统覆盖范围的同时又可以实现高速率传输。因此,对全双工毫米波大规模MIMO中继系统预编码方法的研究具有重要意义。本文重点研究了全双工毫米波混合模拟数字结构中继系统的预编码设计方法,并分析了系统的渐近频谱效率,旨在抑制系统中全双工自干扰（Self Interference,SI）,给出合理的功率方案,从而提升系统频谱效率与能量效率（Energy Efficiency,EE）。在全双工毫米波混合模拟数字结构中继系统模型和系统的能量消耗模型下,进行解耦预编码设计和性能分析。针对全双工无线通信系统的自干扰和毫米波系统的特殊预编码结构,分别设计了全连接结构和子连接结构的干扰抑制解耦预编码方案。然后,基于系统能量消耗模型分析天线数量、射频（Radio Frequency,RF）链路数量和发射功率对系统能量效率的影响。对于采用全连接结构的中继系统,进一步研究系统的联合预编码设计方案。在充分利用毫米波信道结构特性和射频预编码结构的基础上,提出了基于正交匹配追踪（Orthogonal Matching Pursuit,OMP）的联合预编码设计方案。利用信道结构和预编码设计中的性质,在一定近似条件下得到简化的频谱效率表达式。接下来,利用简化频谱效率表达式和能量消耗模型对系统的能量效率进行优化,旨在得到在最低频谱效率限制和发射功率约束下的能量效率优化方法。通过将非凸分式问题转化为迭代参数形式凸优化问题,提出在最小频谱效率限制和功率约束的条件下的能量效率优化算法,在保证系统频谱效率的基础上实现能量效率的提升。针对毫米波通信中信道和混合天线结构的特殊性,分析在毫米波系统中大规模天线信道的渐近正交性质,并推导在配置大规模天线条件下中继系统的渐近频谱效率。分析大规模天线对中继自干扰的抑制能力,以及不完美自干扰信道状态信息对预编码性能的影响。针对双向中继（Two-Way Relay,TWR）系统中各个节点的自干扰,设计了相应的干扰消除混合预编码算法。在配置大规模天线的条件下,本文利用天线响应向量的渐近正交性质推导了全双工毫米波双向中继系统的渐近频谱效率,证明了大规模天线对双向中继系统中全双工自干扰、双向中继自干扰和噪声的抑制作用。对于不完美信道状态信息的全双工自干扰,大规模天线仍可以实现有效抑制。在此基础上,推导系统在不同功率收缩（Power Scaling Scheme,PSS）方案下的渐近频谱效率。此外,当系统中两端节点只配置有限数量天线时,分析中继节点的大规模天线对系统中干扰的抑制能力,并推导相应的渐近频谱效率,讨论当前系统配置下可行的功率分配方案。针对全双工毫米波接入与回传一体化（Integrated Access and Backhaul,IAB）中继系统,本文首先推导了在配置大规模天线条件下的系统渐近频谱效率,并分析了其干扰抑制能力。针对残留的多用户干扰,本文利用相应的基带预编码进行干扰抑制。在不考虑大规模天线时,为了实现对所有干扰的抑制,本文提出了基于块对角化（Block Diagonalization,BD）的干扰消除预编码,通过利用信道矩阵的零空间实现干扰抑制。此外,本文还提出了基于最大化信泄噪比（Signal to Leakage and Noise Ratio,SLNR）的预编码设计方案,通过将广义Rayleigh熵转化为Rayleigh熵并利用Rayleigh-Ritz定理得到了由广义特征向量组成的预编码设计方案。最后,本文对上述方案进行了讨论,分析了射频与基带预编码方案的特点和各个方案对不同干扰和噪声的消除抑制能力。本文的研究内容验证了采用合理的天线配置、功率策略和预编码设计可以抑制全双工毫米波中继系统中的干扰并且提升系统的频谱效率和能量效率。