作为分析模式耦合最有效的工具,耦合模理论具有数学形式简单、物理意义清晰的特点,已经广泛用于分析与设计各种光学器件,大大推动了光纤通信的发展。近年来,非厄米系统由于奇异点的存在成为研究的热点。在奇异点上有许多独特的性质,比如相干完美吸收、单向隐身、光的同时放大和吸收等等。非厄米系统中存在增益或损耗,能量守恒关系不成立,因此现有的耦合模理论不能用来描述非厄米系统的模式杂化。本论文从麦克斯韦方程组出发,严格推导出适用于非厄米系统的广义耦合模理论,是对耦合模理论的重要扩展。(1)提出了一种基于物理系统作用量守恒构建耦合模理论的方法。作用量定义了一种标量内积,在此基础上互易性定理和自伴随具有等价的关系。互易性定理要求耦合系统介质为互易性的,因此可以为增益介质,也可以为损耗介质。在自伴随的条件下,我们可以将原始系统与伴随系统看成去耦合的,从而进行独立求解,大大简化了耦合的计算。(2)将三维(3D)自伴随问题降维,在二维(2D)空间中选取相向传播的模式作为模式基底,推导出波导系统的耦合模方程。(3)引入时间反演算符(?)到作用量中,将作用量应用到拥有相反频率的两个源上。选择时间反演前后的模式作为模式基底,推导出光学腔系统的耦合模方程。(4)结合具体实例,将广义耦合模理论应用到厄米与非厄米的系统中,取得了与有限元仿真完美匹配的结果。