本文以约束和分段两种类型的非光滑近Hamilton系统作为研究对象，主要研究奇点相对切换面不同分布位置下未扰系统同宿/异宿轨道的存在性，系统全局分岔的分析方法、解析判据，以及多解共存现象的机理等非线性问题。在非光滑近Hamilton系统中，由于切换面的作用，未扰系统同宿/异宿轨道通常被碎化甚至不存在，使得局部/全局分岔理论中普遍采用的 Melnikov方法在分析非光滑同宿/异宿分岔时存在很大的困难；而系统中非线性扰动项的存在也使得依赖解析解的非光滑映射（ZDM）建立的复杂性大大增加。采用改进后的Melnikov方法对非光滑近Hamilton系统进行深入研究，试图厘清在不同分布位置下切换面与同宿/异宿轨道附近流形的作用模式；探寻了发生非光滑局部/全局分岔的参数条件、分岔特性等；揭示了周期吸引子与混沌吸引子在相空间共存的机理。最后还将通过数值模拟手段验证非光滑近Hamilton系统的局部分岔、全局分岔与周期运动共存理论的有效性。　　本研究主要内容包括：⑴分析外部简谐力作用下的双边刚性约束的非光滑碰振振子模型，运用改进Melnikov方法给出了碰振系统的局部/全局周期轨道Melnikov函数形式，同时发现此碰振系统的局部/全局亚谐轨道通常存在各自的参数区域内。但处于高频激励条件下的特定区域，系统可以出现局部和全局轨道共存的情况，此时相空间中的吸引域也处于紊乱状态。⑵研究了含有外部激励项及间隙约束的二自由度非线性碰振系统的动力学特性。此碰振系统的碰撞面具有非固定性，我们将相对位移视为碰撞条件，运用摄动分析和Poincaré映射推导出碰振系统的亚谐Melniokv函数，确定了二自由度碰撞系统特定的稳定单碰、双碰周期运动和混沌运动存在的条件。随着外部参数的变化系统经过倍周期分岔通向混沌运动，适当控制参数取值可以避免系统出现多周期和复杂的混沌运动现象，具有很大的工程指导作用。⑶非光滑动力学系统的研究还集中在分段光滑线性系统上，由于这类系统可以找到分段形式的解析解，这使得构造某些周期运动的非光滑Poincaré映射成为可能。建立了齿轮系统新的动力学模型，求得每段分段方程的解析通解并以切换面作为 Poincaré截面，建立了分段光滑动力学系统的 Poincaré映射。分析了含间隙碰振齿轮系统的全局及周期动力学特性。