随着科技的迅速发展,非线性滤波方法在信号处理、目标识别、系统状态与参数估计以及金融工程等领域获得了广泛的研究与应用。传统的非线性滤波方法大都是在线性化和高斯噪声的条件下实施的,这有可能降低滤波的精度。粒子滤波作为处理非线性、非高斯时变系统状态滤波和参数估计的一般方法,具有独特的优势。但粒子退化、样本枯竭等问题一直都困扰着粒子滤波的发展与应用。本文围绕重要性密度函数的选择,对粒子滤波展开了深入的研究与讨论。本文主要研究了非线性滤波方法在神经网络学习和金融市场微结构模型估计中的应用。在神经网络的参数估计中,噪声统计特性的确定直接影响着估计精度和收敛速度。对此,本文基于非线性滤波方法,对一般神经网络训练算法的主要缺陷进行了改进和完善。此外,针对金融时间序列的非线性、非高斯、时变波动等特征,建立了一些扩展的金融市场微结构模型,并采用非线性滤波方法解决这些金融市场微结构模型的状态估计问题。本论文的主要研究成果如下：首先,在贝叶斯理论框架下对非线性滤波方法进行了系统性研究。针对粒子滤波中粒子退化问题,提出了一种改进的粒子滤波算法—APF-IEKF(Auxiliary particle filter with iterated extended Kalman filter),即在辅助粒子滤波的基础上融合了迭代扩展卡尔曼滤波。该算法在选取重要密度函数时,由于充分考虑了当前时刻的量测,使得粒子的分布更加接近状态后验概率分布。仿真结果显示,该方法在估计精度上要优于其它非线性滤波方法,运行时间比PF-UKF(particle filter with unscented Kalman filter)要短。同时,对各种非线性滤波算法改进的原因及适应的范围进行了深入分析。然后,针对扩展卡尔曼滤波算法在神经网络参数估计中的应用,从两方面探讨了其中的主要问题。一方面,考虑到系统噪声统计特性(噪声协方差阵)对参数估计精度的影响,并结合粒子滤波,提出了在线估计噪声协方差阵的自适应过程噪声协方差粒子滤波(adaptive process noise covariance particle filter, APNCPF)的神经网络训练算法。另一方面,从神经网络的空间模型入手,在原有状态变量(参数)基础上,将网络输出量扩展为系统状态的一部分,得到了神经网络的自组织状态空间模型。该组合状态变量不仅反映了内部状态与外部输入和输出变量之间的关系,而且能真正代表系统的内部动态特征。并将上述两改进方法应用到多层感知器(MLP)网络和径向基函数(RBF)网络的学习中,仿真结果表明了这两项改进措施的有效性。其次,结构化的非线性参数优化方法(SNPOM)是针对RBF-AR(基于RBF网络的自回归)模型的一种优异的优化算法。为了进一步提高学习精度,特别是解决对含较大噪声数据的样本学习问题,本文从RBF-AR模型的网络结构(看作一种广义的RBF网络)出发,将其转换成状态空间模型,结合EKF(Extended Kalman filter)(滤波和平滑过程)和EM(Expectation-Maximization)算法实现了对RBF-AR模型参数和噪声协方差矩阵的估计。仿真结果显示,该方法用在基于状态空间模型的RBF-AR模型结构中是有效的,特别在低信噪比情况下,估计效果比SNPOM方法好。最后,针对金融市场动态特性建模问题,考虑到不确定性因素引起资产价格的巨大波动、股市中波动的非对称性以及资产收益的尖峰厚尾特性,分别提出了非齐次泊松跳跃市场微结构模型、杠杆效应市场微结构模型以及厚尾市场微结构模型。并从理论上解释了市场微结构模型的杠杆性和厚尾性。在模型参数未知的情况下,为检测出时变跳跃强度,借鉴Lee所提出的非参数方法进行检测。在此基础上,利用无忌卡尔曼滤波(UKF, Unscented Kalman filter)和极大似然法来估计跳跃市场微结构模型的参数。针对杠杆效应市场微结构模型资产价格和波动之间的同时域相关性和厚尾市场微结构模型资产价格的非高斯性,开发了相应的MCMC(Markov chain Monte Carlo)参数估计方法。模拟仿真分析证实了上述方法的有效性。通过对我国和美国股市的实证研究发现,两股票市场均存在明显的尖峰厚尾性和非对称性,而且我国股市跳跃发生的频率明显高于美国股市。最后,采用DIC(Deviance Information Criterion)准则对正态分布市场微结构模型和学生t分布市场微结构模型进行了绩效优劣比较,研究结果表明学生t分布市场微结构模型更优,更适合股票市场的描述。