随着现代新型机械设备向大型化、微型化及高速化方向快速发展，由此引起的大位移、大变形导致工程中的几何非线性动力学问题日益突出。本文在双稳态光滑不连续振子模型基础上，构建一个三稳态几何非线性系统与一个具有高阶准零刚度(三阶和五阶零刚度)特征的四稳态几何非线性隔振系统，精确刻画工程中各种典型力学模型的几何非线性行为。采用理论推导与数值计算相结合的方法对几何非线性系统的平衡点分岔、混沌振动解析预测、双参数余维三分岔、Hopf分岔、主共振响应、力传递率及功率流等特性进行研究，研究结果为工程应用提供重要的理论依据。具体研究工作如下：　　首先，建立具有光滑不连续特征的三稳态几何非线性动力系统，研究周期扰动下光滑不连续系统的混沌动力学行为。应用Melnikov方法分别对光滑单阱、双阱及三阱扰动系统进行混沌解析预测分析，分别得到单阱、双阱及三阱系统的混沌阈值曲线。利用数值模拟得到系统的周期解及混沌解，验证理论结果的有效性。同时，分析了不连续几何非线性系统的混沌响应。利用Melnikov方法分别对不连续单阱、双阱及三阱扰动系统的混沌行为进行解析预测，得到不连续单阱、双阱及三阱系统的混沌阈值曲线。最后，应用数值模拟方法验证理论结果的可靠性。　　其次，分析具有非线性阻尼扰动三稳态几何非线性系统的双参数余维三分岔行为。在突变点附近将几何非线性系统转换为五次非线性系统，分析了五次系统的屈曲行为。研究多屈曲模型在突变点附近的双参数余维三分岔，利用Taylor展开建立与原系统拓扑等价的五次非线性阻尼系统，得到系统规范型的双参数余维三开折。利用Melnikov方法给出了双参数余维三分岔的分岔集图与全局分岔图，利用数值方法验证系统具有Hop分岔、奇异闭轨分岔及周期闭轨分岔等非线性动力学行为。研究了Van del Pol阻尼扰动下几何非线性系统的Hopf分岔问题。利用Hopf分岔理论，得到了系统在分岔突变点附近的Hopf分岔解析条件。采用四阶 Runge-Kutta法进行数值模拟，给出系统多极限环共存的相轨迹图。　　再次，运用牛顿动力学定律，分别建立了一阶双稳态、三阶三稳态及五阶四稳态准零刚度几何非线性隔振系统的动力学微分方程。针对四稳态几何非线性隔振系统，分析了未扰系统平衡点分岔及其稳定性，给出复杂多阱运动形式在几何参数区域中相互转迁的规律。建立不连续四稳态系统的动力学方程，分析系统平衡点及其稳定性。同时，给出了未扰系统同宿轨道、异宿轨道解的解析表达式，以及扰动系统的解析解表达式。　　最后，分析光滑四稳态几何非线性系统的高阶准零刚度特征，给出高阶准零刚度特性的参数选取依据。分别建立一阶、三阶及五阶准零刚度几何非线性隔振动力系统，利用谐波平衡法给出准零刚度系统的主共振响应曲线，并导出准零刚度系统的力传递率公式，研究表明，五阶准零刚度隔振系统能够很好的扩大隔振有效区域。并利用功率流方法分析非线性隔振系统能量传递特征。研究了扰动系统的混沌动力学行为，分析激励幅值、阻尼比及激励频率对系统非线性动力学行为的影响，数值仿真表明系统表现出倍周期解与混沌解等复杂动力学行为。