高功率光纤激光器具有光束质量好、转换效率高、结构紧凑以及热管理方便等优点,在激光加工、激光医疗、激光通信和军事防御等领域得到广泛应用。但是受到高功率光纤器件、非线性效应以及系统技术的制约,光纤激光器难以达到较高的功率水平。本论文围绕高功率光纤耦合器、四波混频与受激拉曼散射效应、以及高功率光纤激光系统技术开展了理论和实验研究工作。本论文的主要研究成果及创新点如下:（1）基于速率方程理论研究了泵浦波长、增益光纤长度和Yb³⁺掺杂浓度等因素对高功率光纤激光器输出功率的影响,并利用自研Yb/Ce共掺光纤和高功率光纤耦合器研制了高功率光纤激光器,实现4620W激光输出,光光转换效率为80.3%,光束质量因子为1.67。（2）基于光束传输法研究了泵浦光、信号激光在锥形光纤波导中的传输特性,分析了光纤束切割角度、端面质量以及纤芯对准误差等因素对光纤耦合器输出功率的影响,优化了高功率光纤耦合器的结构参数,研制出单臂承载功率大于800W、泵浦耦合效率为94.83%的高功率光纤耦合器,且泵浦尾纤对信号激光的衰减达到20dB以上。（3）理论和实验研究了高功率光纤激光器中的非线性效应。当不同激光满足相位匹配条件时分别在1060nm和1100nm处出现模间四波混频效应;随着激光功率的增加,在1130nm附近出现受激拉曼散射效应。分析了光纤激光器中产生高阶模式激光的主要来源,通过减少掺镱光纤盘绕圈径的方法将四波混频效应阈值提升至3.1kW以上;分析了增益光纤长度、纤芯直径和泵浦波长等因素对受激拉曼散射效应的影响,通过优化光纤激光器中掺镱光纤参数的方法将受激拉曼散射效应阈值提升到3.4kW以上。