无线通信技术的飞速发展使人类社会进入了高效率的信息化时代,给人们的工作和生活方式带来巨大的变化。与此同时,无线信道的广播特性使信息传输容易遭受窃听的风险。因此,无线通信的安全问题十分重要。物理层安全利用无线信道的物理层特性,采用信号处理和编码技术增强无线通信的安全性,可以达到信息论意义上的完全保密(Perfect Secrecy)。采用多天线技术构造信道质量优势时,发送端获得的信道状态信息(Channel State Information, CSI)对物理层安全性能起着重要的作用。然而,由于估计误差和反馈时延等因素的影响,实际的多天线系统中发送端很难获得理想的CSI。因此,针对不同的信道模型和CSI,尤其是非理想CSI,设计安全传输方法是一个关键问题。论文的主要内容如下：1.考虑多输入单输出(Multiple-Input Single-Output, MISO)窃听信道中存在多个单天线窃听者的场景。对于发送端获得的信道协方差矩阵信息存在确定性椭球界误差的情况,研究了单个合法用户最差情况安全速率最大化(Worst Case Secrecy Rate Maximization, WCSRM)问题和多用户多播安全速率受限的发送功率最小化(Transmit Power Minimization, TPM)问题。提出了具有鲁棒性的人工噪声辅助波束成形方法。上述优化问题的难点在于两个方面：1)信道协方差误差矩阵处于某一椭球不确定集合内,给优化问题带来了无限多约束条件：2)优化问题为非凸的,无法直接求解。对于第一个难点,采用了拉格朗日对偶理论,得到与无限多约束条件等价的半正定(Positive Semidefinite, PSD)约束条件。对于第二个难点,采用了半定松弛(Semidefinite Relaxation, SDR)技术和一维线性搜索方式得到其最优解。2.对于多天线信道中,发送端获得的CSI存在随机误差的情况,研究了多用户广播信道模型中的TPM问题。从服务质量(Quality of Service, QoS)角度保证系统的可靠性和安全性：合法用户和窃听者的信干噪比(Signal-to-Interference-plus-Noise Ratio, SINR)必须满足给定的概率约束条件。论文将难以得到解析表达式的概率约束条件转化为保守的确定性约束,通过求解一个半定规划(Semidefinite Program, SDP)问题得到有用信号和人工噪声协方差矩阵。3.考虑存在保密信息的多用户MISO干扰信道模型。每个发送端仅向一个目标用户发送信息,将系统内其他接收用户视为窃听者。对于发送端获得理想CSI情况,研究了安全速率平衡(Secrecy Rate Balancing)问题,最大化系统中最小的安全速率。提出了基于递归优化的协同波束成形(Coordinated Beamforming, CB)方法。在每次递归中求解一个SDP问题,最终得到优化问题的局部最优解。对递归优化算法的收敛性给出了证明,并通过仿真进行了验证。进一步,将所提出的框架应用到信道向量和信道协方差矩阵存在确定误差的情况,提出了鲁棒性协同波束成形方法。4.考虑存在窃听者时的多天线中继信道模型。当系统中只存在一个源-目的组合时,研究了理想CSI下的安全速率最大化(Secrecy Rate Maximization, SRM)问题和非理想CSI下的WCSRM问题。针对SRM问题,提出了人工噪声辅助的波束成形方法。采用半定松弛(Semidefinite Relaxation, SDR)和双层优化算法得到SRM问题的最优解,证明了所采用的SDR技术是紧的。针对WCSRM问题,采用SDR技术和连续的凸估计算法得到优化问题的解。5.当中继系统中存在多个源-目的组合时,即多用户对等(Peer-to-Peer)通信场景,假设中继到目的节点的CSI存在误差,并且中继未知多天线窃听者的CSI,研究了目的节点的均方误差(Mean Square Error, MSE)受限时人工噪声功率最大化问题。采用具有收敛性的递归算法,对中继波束成形矩阵和目的节点的均衡器进行联合优化。