在许多实际场景中,人们难以获得完整的训练数据,数据会按顺序到达。随着大数据科学的发展,数据量的高速增长为神经网络学习带来了计算复杂度高、响应慢等问题,顺序学习可以有效地解决这些问题。径向基函数(RBF)神经网络由于其通用的函数逼近能力和简单的网络结构而被广泛用于顺序学习框架。本论文首先提出了可以自动确定RBF神经网络隐层结构的基于相似度的自增长自替换自删减算法(S-GRP)。通过广义最大最小(GMM)计算相似度来判断学习样本的新颖性,将满足相似度准则和神经元重要性准则的样本作为新的隐层中心添加到网络中。在增加和删减策略的基础上加入神经元替换策略,利用GMM通过聚类得到备用隐层神经元中心,不再直接删除不重要的隐层神经元,而是优先考虑用满足神经元重要性的备用神经元将其替换。如果隐层神经元及备用神经元的重要性都很低,将两者删除。实验结果验证了 S-GRP算法能够平滑地生成结构简单且具有良好泛化能力的RBF神经网络。为了提高RBF神经网络的训练算法对噪声的适应能力,避免误差发散。在利用逆Wishart分布对噪声协方差建模的基础上,通过协方差匹配方法对过程噪声协方差矩阵进行近似估计,加入遗忘因子,提出了自适应鲁棒扩展卡尔曼滤波算法(AEKF-OR)。AEKF-OR算法对数据中出现的异常值具有较好鲁棒性,能够提高算法估计精度。针对顺序类别不平衡问题,提出了一种叫采样与模糊自增长自删减算法(S-FGP)的RBF顺序学习算法。首先采用模糊自增长自删减算法(FGP)将合适的样本作为隐层神经元中心构建RBF神经网络。然后,S-FGP算法将样本采样过程和基于FGP算法的网络训练过程结合起来,在学习过程中通过训练误差筛选删除不重要的大类样本。利用添加的隐层神经元中心作为伪样本与当前学习的小类样本生成小类样本,促使训练集平衡。S-FGP算法对顺序类别不平衡问题可以有效地提高小类样本的分类正确率,尽可能避免大类样本分类准确率的损失。