用几何方法研究哈密顿系统的混沌是近二十年来出现的新领域。本论文研究了几类典型的哈密顿系统，并给出了一系列哈密顿系统混沌的几何判据，揭示了哈密顿系统内在的几何性质与其混沌行为的本质联系。　　第二章我们推广了L.Horwitz等人在2007年提出的判断混沌的几何方法，使得该方法不仅适用于标准哈密顿系统，还适用于势能与动量弱耦合的情况。提出了平均不稳定比（MUR）的概念，并对Dicke模型的经典系统做了计算。推广的方法MUR不仅和Poincaré截面方法的结果吻合得很好，而且在数值稳定性上优于人们熟知的最大李雅普诺夫指数方法。　　第三章主要研究了二维哈密顿系统势能面、等势线与混沌之间的关系。我们发现势能面的凹陷区域是稳定区域，凸起区域和既不凸也不凹的区域都是不稳定的。另外还证明了如果系统的等势线有凹向平衡点的部分，系统将是不稳定的。以此为依据我们提出了判断二维哈密顿系统混沌的平均凸指标(MCI)和凹比率(CR)。我们对典型的混沌模型进行数值计算后，发现MCI、CR和Poincaré截面、L.Horwitz等人的新几何方法的数值结果完全一致。MCI和CR直观简洁，为混沌的几何研究方法提供了新观点和新内容。　　第四章研究了Dicke模型中混沌与几何相位之间的联系。当光场和原子的耦合强度增大至临界点时，Dicke系统的能级间距概率分布从泊松分布变为Wigner分布，而Wigner分布被视为量子混沌的标志，这说明Dicke量子系统在临界点开始出现量子混沌;与Dicke量子系统对应的经典系统在临界点也从规则运动变为混沌运动。在临界点处Dicke量子系统基态的几何相位即Berry相位也发生了剧烈的变化。我们引入了几何相位阶数的概念，Dicke系统几何相位的阶数在临界点从有限值跃变为∞。我们把Dicke量子系统基态几何相位阶数的跃变作为量子混沌出现的标志。