随着微弱信号检测理论与应用的发展，人们把目光转向非线性科学。基于非线性系统的信号检测技术是近二十年才发展起来的一类微弱信号处理新方法。非线性检测方法具有重要的理论和应用价值，在无线通信、雷达系统、故障检测、生物医学和地质学等领域具有广泛而诱人的应用前景，有关的理论和算法研究都得到了较快的发展，已经取得了一系列重要研究成果。目前，将非线性科学应用于微弱信号检测的方法主要有两种：混沌振子检测方法和随机共振方法。　　 本论文介绍了微弱信号的定义和微弱信号检测的发展历程，详细分析了混沌振子检测方法和随机共振方法的基本原理和理论，研究了基于非线性系统的微弱通信信号检测方法。　　 论文的主要工作及创新点包括以下几个方面：　　 (1)混沌系统状态的判别是混沌检测的关键步骤，在研究传统判别方法的基础上，提出了基于二维近似熵、功率谱熵、分形维数的判别方法，通过研究发现基于功率谱熵值的判别方法比较有效，该方法直接计算系统输出时间序列的功率谱熵值，不需要重构系统相空间，具有判别准确性高、计算速度快的优点。　　 (2)混沌检测系统在有无待测信号存在时系统表现出不同的运动状态，结合二进制幅移键控(ASK)信号的调制方式，提出了利用混沌系统解调微弱幅移键控信号的基本思想。利用功率谱熵的方法判别系统输出状态，成功实现了低信噪比ASK信号的混沌解调。莫尔斯电报信号与ASK信号具有相似的形式，所以应用同样的方法可以实现莫尔斯电报信号检测。　　 (3)分析了间歇混沌的产生机理，当待测信号和系统驱动信号的频率差大于驱动信号频率的0.04倍时，混沌系统不会进入周期运动状态。根据该条件，结合二进制频移键控(FSK)信号的调制方式，提出了基于混沌系统和功率谱熵的微弱FSK信号解调方法。　　 (4)二进制相移键控(BPSK)信号利用载波信号的不同相位表示信息，根据正弦信号混沌检测的相位条件和BPSK信号的调制方式，研究了利用Duffing系统进行强噪声背景中BPSK信号解调的基本思想，结合功率谱熵判别方法，实现了BPSK信号的解调。　　 (5)介绍了双稳系统及其数学模型，研究了周期信号和二进制基带信号的随机共振现象，并分析了非周期随机共振的物理机制。仿真发现，当输入噪声强度在一定范围内增加时，系统输出信号得到明显改善。　　 研究表明，非线性检测方法对于微弱信号表现出良好的检测性能。利用混沌振子和功率谱熵解调微弱数字调制信号的抗噪性能优于传统的相干解调方法。随机共振系统可以有效地利用输入噪声的能量，改善系统输出信号，进而提高微弱信号检测能力。