日益增多的无线设备和多样化的通信需求导致下一代无线通信中无线流量呈现爆炸式增长。激增的无线流量为下一代无线通信的频谱效率（Spectral Efficiency,SE）提出了更高的要求。更为重要的是,激增的无线流量意味着越来越多的隐私数据采用无线传输,但是由于无线信道具有开放性,如何在保证高SE需求的同时保障无线通信信息安全为下一代无线通信提出了严峻考验。超奈奎斯特（Faster-than-Nyquist,FTN）传输通过压缩奈奎斯特正交传输的符号间隔来提升信息传输速率,达到提升SE的目的。而FTN传输压缩符号间隔产生的符号间干扰（Inter-symbol Interference,ISI）可为保障通信信息安全提供如下潜在优势:（1）FTN引入的ISI可能改变非法窃听方的检测模型,恶化其检测性能进而实现信号隐蔽;（2）FTN传输引入变化的加速因子可以隐藏或扰乱通信信号特征,实现信号特征隐藏;（3）FTN传输引入的ISI可以提高非法窃听方的译码复杂度,实现信息隐匿。FTN传输有潜力从以上三个层面保障无线通信安全,从而实现低截获概率通信,在满足通信系统高SE要求的条件下保障下一代无线通信信息安全。但是,关于基于FTN传输的低截获概率通信的研究却寥寥无几。因此,本文致力于基于FTN传输的低截获概率通信的研究,解决译码复杂度、机理分析和技术方案设计等问题。本文的主要研究内容包含以下三个部分:（1）基于预编码的低复杂度FTN传输译码方案设计;（2）基于FTN传输的隐蔽通信性能分析;（3）基于FTN传输的变符号速率通信设计和分析。第一部分针对FTN传输中的高译码复杂度问题,研究了两种预编码方案,即基于Cholesky和LDL分解的预编码FTN,旨在为基于FTN传输的低截获概率通信提供低复杂度的译码方案。对于基于Cholesky分解的预编码FTN,通过对ISI矩阵进行Cholesky分解,得到预编码和解码矩阵,分析了方案的ISI消除原理和复杂度,考虑了实际情况对其加速因子适用范围的影响。对于基于LDL分解的预编码FTN,通过对ISI矩阵进行LDL分解并利用拉格朗日乘数法完成了最优的符号功率分配设计,得到相应的预编码和解码矩阵,还给出了方案的可达速率、中断容量以及复杂度的分析。所提出的基于LDL分解的预编码FTN扩大了加速因子的适用范围,并降低了加速因子较小时的计算复杂度和矩阵存储消耗。第二部分从信号隐蔽角度出发,首次分析了基于FTN传输的隐蔽通信性能。由于FTN传输会改变非法窃听方的信号检测模型,可能恶化非法窃听方的检测性能进而为合法方的隐蔽速率带来增益。因此,基于FTN传输的隐蔽通信相较于奈奎斯特传输是否具有优势值得进一步研究。本文建立了FTN传输下的隐蔽通信系统模型,给出了非法窃听方的假设检验模型,并分析了基于最大似然准则和Kullback-Leibler散度的检测性能约束以及隐蔽速率。理论分析和数值结果都证明了在相同的检测性能约束和检测时间下,相较于奈奎斯特传输,FTN传输具有更好的隐蔽性。第三部分从信息隐匿和信号特征隐藏角度出发,研究了基于FTN传输的变符号速率通信。具体地,本文为基于传统FTN和预编码FTN的变符号速率通信建立了统一的系统模型,利用混沌序列生成的时变加速因子序列等参数作为密钥实现信息隐匿和信号特征隐藏。本文通过构建采样级信号模型,在非法窃听方未知合法方加速因子序列的排列组合的情况下,证明了合法方的安全容量始终为正。另外,本文提出了基于计算解密复杂度和密钥信息量设计加速因子序列的方法,增强了合法方的安全性能。分析和数值结果表明,在基于FTN传输的变符号速率通信中,合法方相比非法窃听方能够得到更高的信息速率,可以实现信号特征隐藏和信息隐匿,而基于预编码FTN的变符号速率通信是有效且复杂度较低的低截获概率通信技术方案。