干涉型光纤传感系统在水声探测、石油勘探、地震波监测等领域获得了广泛应用。随着干涉型光纤传感系统向远程化、大规模化方向发展,系统中各种非线性效应的影响日益凸显。目前,远程干涉型光纤传感系统中受激布里渊散射（SBS）已经得到了有效抑制,调制不稳定性（MI）在系统中的影响逐渐凸显。当MI发生时,系统相位噪声急剧增加,系统探测性能严重下降,故远程干涉型光纤传感系统最大输入功率必须限制在MI阈值以下,MI成为系统最大输入功率与传输距离的主要限制因素。远程干涉型光纤传感系统中MI抑制方法成为亟待研究的重要课题。本文主要针对远程干涉型光纤传感系统中MI及其抑制技术进行理论和实验研究。系统研究了（1）:远程干涉型光纤传感系统中MI发生机理与物理特性;（2）:远程干涉型光纤传感系统中MI的强度与相位噪声特性及物理机制;（3）:远程干涉型光纤传感系统中MI及其相位噪声的抑制;（4）:MI与其它非线性效应的作用关系等四个重要问题。论文首先对MI基本特性进行了研究。介绍了远程干涉型光纤传感系统中MI发生的物理机制,基于线性稳定性分析方法推导了弱泵浦消耗条件下的MI增益;利用分步傅里叶算法对远程干涉型光纤传感系统中MI基本特性进行了仿真研究,分析了输入功率与ASE噪声对MI的影响;利用光谱仪对远程光纤输出端的MI光谱特性与相干特性进行了实验测量。论文研究了基于瑞利散射的分布式测量方法实现单模光纤中MI演化特性的分布式测量。利用该分布式测量方法,论文先后对自发调制不稳定性与感应调制不稳定性的功率转化特性进行了分布式测量。测试结果与传统的截断法结果吻合,证明利用瑞利散射实现MI分布式变化测量的可行性与精确性。通过激发感应MI,可以实现可控的Fermi-Pasta-Ulam（FPU）回归效应的分布式测量。实验实现了共计11个边带的分布式定量测量,说明了测试系统的良好信噪比。据我们所知,这是首次实现10 km单模光纤中FPU现象的定量分布式测量。该方法为MI及FPU等非线性效应的研究提供了新的视角,有望实现对概率非线性效应现象如rogue波及概率孤子的单次实时分布式测量。论文对远程干涉型光纤传感系统中MI的强度噪声与相位噪声特性进行了详细研究。结果显示,MI发生时,总输出光强度噪声不发生明显增加,而中心频率光相对强度波动随着输入功率的增大而迅速增大,说明MI发生时中心频率光向MI边带转化过程呈现不稳定性。该现象是由于ASE噪声的功率波动导致的。当MI发生时,干涉型光纤传感系统相位噪声随输入功率增大而迅速增大。分析表明MI导致的中心频率光功率波动是MI导致干涉型光纤传感系统相位噪声增加的主要原因。论文创新地提出相干种子注入方案以实现干涉型光纤传感系统中自发MI及相位噪声抑制。论文研究了调制频率与种子光强对自发MI抑制的影响。分析了相干种子注入方案对远程干涉型光纤传感系统相位噪声的影响,发现调制频率对系统输出信号幅度有显著影响,当调制频率与干涉仪两臂时延满足条件mt 2k时,系统相位噪声达最小。该方法可以有效提升远程干涉型光纤传感系统最大输入功率,实验中当输入功率为1W时,系统相位噪声约-89 dB/Hz。这是目前报道的远程干涉型光纤传感系统中输入光功率的最高纪录。论文实验观察了远程光纤中MI与SBS、SRS的相互作用关系,并对其物理机制进行了详细探讨。论文建立了MI对脉冲光SBS阈值影响的理论模型,研究了ASE噪声与重复频率对SBS阈值的影响,实验验证了理论模型的正确性。