弹塑性问题和接触问题是岩土工程中两种最常见的非线性问题,其中存在的一些问题,如Mohr-Coulomb中的角点问题、三维接触中的方向问题等,至今还没有得到很好的解决。但它们有一个共同点,都可以归结于互补问题。本文从它们的互补问题入手进行了研究,主要内容及取得的研究成果如下：1.针对Mohr-Coulomb准则中存在的角点问题,基于Koiter法则在主应力空间将Mohr-Coulomb准则的多屈服面表达为其等价的互补模型,并进一步用Fischer-Burmeister互补函数进行描述,从而可以使用当前常用的Newton算法进行求解。所提出的算法克服了角点问题带来的收敛困难,并且消除了常规对势函数光滑处理所带来的误差,提高了三维Mohr-Coulomb问题的精度。2.基于光滑接触问题的等价互补模型,提出了一个新的光滑逼近模型,当该模型中的参数趋于零时,它等价于原来的互补模型。由于该模型中函数的导数存在且连续,且相应的Jacobian矩阵非奇异,因此,这使得常规的Newton法及Newton族算法可以顺利进行下去。3.将Bathe在二维摩擦接触问题中所提出的约束函数推广到三维,通过方向向量的引入,解决了三维接触问题中由于方向角的周期性带来的求解稳定性问题。该方法将接触中的法向和切向归纳到统一的函数来逼近。4.利用上述的方法,给出了岩土工程典型的三维接触问题分析：对岩石的单轴试验、刚性基础与弹性地基的接触问题等进行了分析,验证了该算法的正确性。5.对巴西圆盘试验进行了数值模拟,指出了其中的问题,并建议采用半径为1.02倍圆盘直径的弧形加载板进行加载,可以大大消除应力集中。6.采用本文方法,对有限元强度折减问题中的采用线性单元和二次单元进行了的对比研究,结果表明二次单元的误差是线性单元的误差最大值的1/7左右,且随单元数量的增多,二次单元比一次单元收敛得更快；线性单元夸大了系统的安全系数,偏于冒险,建议在强度折减计算中采用二次单元。