航天器相对导航技术在航天器编队飞行和空间交会对接等重要空间任务中发挥基础性作用,实现状态估计的滤波器是其中核心部分。本文以椭圆参考轨道下航天器相对导航为背景,针对量测模型非线性、量测噪声非高斯等问题,研究非线性迭代鲁棒滤波方法,增强对闪烁噪声及量测野值的适应能力,减小估计误差,提高相对导航方法精度和鲁棒性,为航天器相对导航工程设计提供理论参考。针对椭圆轨道相对导航建模问题,根据二体问题推导椭圆参考轨道下相对轨道动力学模型,研究环绕轨道和跟踪轨道两种典型相对轨道形态对应的位速初始条件确定方法,并通过数学仿真验证合理性;建立关于姿态四元数的相对姿态运动学模型;建立激光雷达和光学相机以及陀螺仪的量测模型。根据航天器相对距离进行划分,研究基于CKF的椭圆轨道相对导航方法。设计远距离基于激光雷达的相对位置估计方法,借助TH方程构建状态方程,结合激光雷达量测模型估计相对位置及速度;设计近距离基于光学相机的相对位姿联合估计方法,将TH方程与相对姿态运动学相结合,并通过广义罗德里格斯参数与四元数相互转换完成时间更新,结合光学相机量测信息估计相对姿态、陀螺漂移、相对位置及速度;通过仿真验证两种相对导航方法的可行性。针对激光雷达噪声为厚尾分布、光学相机量测出现野值导致破坏高斯噪声假设的问题,研究椭圆轨道相对导航中鲁棒滤波方法。在容积卡尔曼滤波基础上,引入基于广义极大似然估计的鲁棒量测更新过程,形成基于Huber的鲁棒容积滤波方法;为进一步提高抑制闪烁噪声及量测野值的能力,更换鲁棒核函数并结合信息滤波框架,提出基于最大相关熵的鲁棒容积信息滤波方法。通过多工况下相对导航仿真验证鲁棒量测更新策略对非高斯噪声的抑制作用,以及最大相关熵核函数在抑制闪烁噪声方面相比Huber核函数的优越性。针对固定点迭代仅更新权重矩阵而不调整线性回归模型的不足,研究椭圆轨道相对导航中迭代鲁棒滤波方法。基于高斯-牛顿法从非线性优化角度推导迭代Sigma点卡尔曼滤波及迭代无迹卡尔曼滤波两种迭代鲁棒策略,应用更新后的后验估计值迭代更新系数矩阵。在基于最大相关熵的鲁棒容积信息滤波基础上,结合以上两种典型的迭代策略,分别形成基于ISPKF的迭代鲁棒容积信息滤波方法和基于IUKF的迭代鲁棒容积信息滤波方法。通过数学仿真验证迭代鲁棒策略能够在不引起过高计算负担的前提下提高参数估计精度,并且IUKF迭代鲁棒策略效果优于ISPKF策略。