本文结合工程实际需求，针对某小型涡喷发动机在某一转速下工作不稳定问题，从发动机建模、燃油控制系统稳定性分析、燃油控制系统设计和旁路调节器对发动机稳定性影响分析等方面展开了深入研究。首先利用机理建模和试验建模相结合的方法，分别对涡喷发动机燃油泵、燃滑油泵驱动电机、发动机本体、燃油系统油路和旁路调节器进行了数学建模，完整地建立了发动机的数学模型。利用试验数据和仿真对各模型进行了验证，为进一步的发动机燃油控制系统稳定性研究奠定了基础。然后进行了发动机燃油控制系统稳定性分析，查找燃油控制系统间的差异，系统分析和对比了两型燃油控制系统与发动机的试验数据。在建模的基础上，对动机转速振荡故障现象进行了仿真复现，同时对数学模型进行了进一步验证。通过Matlab工具软件对发动机控制系统进行了频域分析，采用Bode图方法和零极点图，给出了系统的动态响应过程，全面分析了燃油控制系统的性能，查找系统出现不稳定的转速范围。根据频域分析结果，进行了发动机不稳定机理分析，找出涡喷发动机转速不稳定的物理机理，为后续控制系统设计提供依据。从控制系统设计的角度，探讨对于现有的发动机对象，是否存在满意的控制器参数使得系统稳定，或是在什么条件下才能存在满意的控制器参数使得系统稳定，找出系统稳定工作的基本要求，并通过发动机控制系统闭环仿真进行了验证，完成了发动机控制系统设计。根据分析结果确定了通过调整旁路调节器结构参数改造发动机燃油控制系统的方案，并通过仿真分析，分别验证了旁路调节器的弹簧刚度、预紧力、油针初始位移和密封圈摩擦力四个结构参数变化对发动机工作稳定性的影响情况，找出了其中的关键影响参数。