混沌信号是一种由非线性确定系统产生的非周期有界信号，具有对初始值敏感的特性，且在时域中显示出类似噪声的特点，而在频域里表现出宽带的特征。混沌信号的这些特征使得它在工程实践中具有潜在的应用前景。自发现混沌系统的自同步现象以来，混沌在通信中的应用激起了国内外学者极大的研究热情，并已提出了多种基于混沌的通信系统。目前，这些基于混沌的通信系统还主要适用于理想通信环境或具有中等程度的噪声通信环境。实际的物理信道除存在随机噪声外，信道的有限带宽效应使得发射的宽带混沌信号产生幅度与相位的失真；无线通信信道的多径效应以及信道的时变衰落特性也会引起发射的混沌信号产生幅度和相位的失真；同时混沌电路的回波效应严重影响了通话质量。这些因素阻碍了已提出的基于混沌的通信系统迈向实际应用的步伐。消除通信信道、混沌电路等因素的影响的主要措施是采用滤波方法。本论文紧紧围绕混沌调制通信系统这一主题，在分析几种自适应滤波算法的基础上，提出了改进的自适应滤波算法，并以自适应滤波算法和参数建模技术为基础，采用估计理论研究了噪声污染的混沌信号的滤波问题，包括自适应解调器、盲信道均衡器和回波消除器的设计。我们将广义卡尔曼滤波算法、最小均方自适应滤波算法和FIR自适应滤波算法应用于噪声混沌信号的自适应解调。在把噪声混沌信号的自适应滤波问题扩展为混合状态空间模型后，并分别考虑了混沌系统的系统参数(即需发送的消息信号)为常数、方波、阶梯波、正弦波、语音以及图像信号时，我们利用自适应滤波算法和自回归参数建模技术相结合的估计理论进行了噪声混沌信号的自适应解调器的设计。仿真结果证实了该理论的有效性，并从计算复杂性和解调能力两个方面分析了几种自适应解调方案的优劣。沿着上述估计理论，我们将自适应滤波算法应用于多径衰落无线通信信道的盲信道均衡问题。在信道系数为常数和时变两种情况下，仿真实现了混沌调制通信系统的盲信道均衡。改进的自适应滤波算法采用与滤波器输入和系统向量相关的函数来调节算法步长，从而降低了算法对噪声的敏感性，提高了其抗干扰能力。我们将改进的自适应滤波算法应用于语音调制混沌系统的回波消除器的设计，取得了较好的仿真效果，实现了单路混沌回波消除。