本文主要提出了一种在上下无界的平板光波导区域中计算Helmholtz方程的特征问题的有效数值解法。 对于求解无界多层均匀的光波导特征问题，以往的方法首先是简单地设立假的边界条件将无界的求解区域有界化，如设这些边界条件为第一、第二或第三类边界条件。这种做法只是将原方程特征问题粗糙地近似化，所以无论是对此近似问题进行精确求解还是离散方程后进行数值计算，解的偏差会变得很大，导致解的逼近效果变差。产生偏差的主要原因在于这样的边界条件实际上并不符合无界区域中光波传播的特性。因此，人们在边界处改进化引入让波向外传播的条件，即所谓“Outgoing Condition”，从而将无界的求解区域有界化，并根据包层与芯层之间的界面条件，建立关于特征值的非线性方程。由于求解非线性方程一般采用迭代法，如牛顿法，所以其收敛性严重依赖于迭代初始值；然而，选取合适的初始值使迭代法收敛在数值计算上是一件非常困难之事。 因此，本文采取从Helmholtz方程出发，引入完美的匹配层(PML)将无界的求解区域有界化，将方程离散化(包括层与层之间的界面条件及上下边界条件)，得到一复矩阵，利用非对称广义Rayleigh商迭代具有良好的局部收敛性和快速收敛的特点，构造多重广义Rayleigh商迭代的方法来计算矩阵特征值逼近方程特征值，并对计算误差做了一定的分析。数值模拟计算结果表明，利用这种方法，不仅可以近似求出Helmholtz方程在无界光波导中的传播模的特征分布，而且可以大大改善数值求解的精确度，又具有易于数值计算的优点，如保持三对角矩阵运算，极大地减少了存储空间和计算量。