自适应均衡器是现代数字通信系统中非常关键的组成部分，如何提高均衡器的收敛速度和误码性能是实际通信的必然要求，也是具有重要的理论意义和实用价值的研究课题。本文就围绕这一内容，针对存在加性噪声和信道具有线性与非线性失真等情况时，对小波分析和神经网络在自适应均衡中的应用进行了研究，主要的工作如下：1. 提出了一种小波变换域的非线性自适应均衡器，它是将小波变换融入到关联模型中构成的。由于信号经过小波变换后的自相关阵呈稀疏的带状结构，因此可以利用小波变换的这种去相关能力来提高该均衡器的收敛速度。在此基础上，给出了相应的自适应均衡算法并分析了其理论最优解，仿真结果表明该均衡器收敛速度较快，而计算量增加不多，易于实时实现。2. 提出了基于正交小波包变换的非线性信道自适应均衡算法，该算法的优点是利用了小波包对小波空间的进一步划分以及比小波变换更强的去相关能力来进一步提高自适应均衡算法的收敛速度，仿真结果表明了该算法的有效性。3. 针对严重线性失真和轻度非线性失真的数字信道，分别提出了用正交小波和小波包表示的非线性信道判决反馈均衡器并给出了自适应均衡算法。该算法在利用小波和小波包变换的去相关能力来提高自适应均衡算法收敛速度的同时，还利用判决反馈结构来提高均衡器的误码性能。4. 提出了用正交多小波来表示线性均衡器，利用经过多小波变换后信号自相关阵的边界效应较小的特点，给出了基于正交多小波变换的一种Newton-LMS类自适应均衡算法。该算法不仅收敛速度快，而且我们利用有预处理的共轭梯度法，将其计算复杂性进一步降低为。5. 在研究基于实数径向基函数(RBF)神经网络均衡器结构的基础上，提出了几种新的适用于QAM信号的复数RBF神经网络自适应均衡器结构，并给出了相应的自适应均衡算法，理论分析和计算机仿真结果都表明新的均衡器具有更好的收敛性能。6. 对几种典型的小波神经网络用于均衡做了研究比较，指出基于一维小波神经网络的均衡器性能较差；而对基于多维小波神经网络的均衡器提出了降低“维数灾”的方法和相应的均衡器结构；针对非线性失真较小的信道提出了一种正交小波网络均衡器及其自适应均衡算法，理论分析和计算机仿真结果都表明在高信噪比情况下，该算法具有较好的收敛性能。7. 利用多小波函数和多尺度函数的互补性，构造了一种具有分层、多分辨和<WP=5>局部学习特点的正交多小波神经网络。分析了该网络用于函数逼近时的性质，给出了调整网络权系数的算法，理论分析和计算机仿真都表明正交多小波神经网络的逼近性能优于正交单小波神经网络。