电子线路中的混沌现象和混沌同步被发现之后，混沌通信作为一种保密性更强的通信技术成为通信领域的重要研究方向之一。目前，混沌信号的滤波、混沌同步、远距离混沌信号传输的噪声影响、信道的畸变、多径效应等问题是混沌通信实用化过程中亟待解决的关键性问题。由于混沌信号属于非线性信号，这些问题大部分可以归结为一类非线性滤波。目前，人们大多采用的是近似线性或基于高斯假设的非线性信号处理技术，如扩展卡尔曼滤波和无味卡尔曼滤波等。然而，当系统具有很强的非线性或不能满足高斯假设条件时，此类方法不能得到较好的滤波效果。粒子滤波是贝叶斯估计框架下基于蒙特卡罗仿真的一种非线性滤波方法，它适用于普遍的非线性、非高斯系统的滤波问题，是非线性信号处理领域的一个重要的研究方向。基于粒子滤波技术，论文研究了混沌通信过程中的混沌同步、信号的解调和混沌系统参数的估计，具体研究内容及创新如下：（1）从滤波的角度出发，研究了基于扩展卡尔曼滤波、无味卡尔曼滤波和粒子滤波的混沌同步方法。重点讨论了粒子滤波的混沌同步，为了克服粒子枯竭现象，进一步提高粒子滤波的混沌同步性能，使用加自适应扰动噪声的方法来增加粒子多样性。仿真比较了这三种混沌同步方法的混沌同步性能。仿真结果表明，粒子滤波的混沌同步性能更好，特别是在低信噪比的情况下，其混沌同步性能要明显优于其它两种混沌同步方法。（2）针对双极性混沌键控系统，提出一种基于粒子滤波跟踪的解调方案，该解调方案有效解决了混沌同步不理想时相干解调所带来的高误码率的问题。同时以扩展卡尔曼滤波为典型代表，比较了分别基于扩展卡尔曼滤波和粒子滤波的解调方案的误码率性能，仿真结果表明，粒子滤波在该方案中所获得的误码率性能更佳，抗噪声性能更强。（3）针对混沌参数调制保密通信系统中扩展卡尔曼滤波和无味卡尔曼滤波对混沌系统参数估计性能较差的问题，采用粒子滤波算法估计混沌系统参数。为实现更好的估计性能，粒子滤波中参数的初始采样改为从所使用的参数值中随机抽取。仿真比较了扩展卡尔曼滤波、无味卡尔曼滤波和粒子滤波的参数估计性能，结果表明，粒子滤波可以进一步提高混沌系统参数的估计精度和收敛速度。