混沌系统具有高度的初值敏感性、宽频谱特性、长期不可预测性以及冲击式的相关特性使得其在保密通信中有着广泛的应用。研究具有复杂动力学行为的混沌系统是一个十分具有挑战性和应用价值的课题。连续自治混沌系统可以划分为耗散混沌系统和保守混沌系统。在耗散系统中,超混沌系统具有至少两个正的Lyapunov指数,系统的拉伸维数更多,因此相比于普通耗散混沌系统,超混沌系统具有更加复杂的拓扑结构和动力学行为。在保守系统中,基于广义Hamiltonian能量构建的保守混沌系统除了具有普通混沌系统所具有的属性外,还具有体积保守,能量恒定,无吸引子以及初值敏感性(不同于耗散系统中传统概念),具有更强随机性和遍历性。本文主要研究了耗散超混沌系统以及高维Hamiltonian保守混沌系统。具体研究内容如下:(1)构造了一个新的四维超混沌系统,首先利用Lyapunov指数谱、分岔图详细分析了参数变化对系统动力学行为的影响。紧接着,基于三维超混沌映射拓扑马蹄寻找算法,通过寻找Poincaré截面上具有二维拉伸的三维拓扑马蹄,从而从数学意义上严格证明了该四维系统的超混沌存在性。(2)采用Lyapunov稳定性理论和最优化方法对所提出的四维超混沌系统的最终界进行深入分析,计算出超混沌系统的椭球边界。(3)提出了构造一类四维甚至更高维Hamiltonian保守混沌系统的方法,并从系统的李雅普诺夫维数,雅克比矩阵的迹以及Hamiltonian能量角度验证系统的存在性。通过数值仿真研究了保守混沌系统的动力学演化过程。(4)将提出的保守混沌系统进行三角变换,使系统产生无穷多个平衡点,从而造出具有多稳定性的“平行保守混沌系统”——具有无穷多混沌随机轨的新保守混沌系统。不仅如此,当系统初值发生一定改变时,系统开始出现多涡卷现象并且随着仿真时间的增大,系统的涡卷数也会增加。(5)对耗散超混沌系统以及保守混沌进行离散化处理,使用DSP Builder搭建系统模型并生成VHDL程序,使用FPGA技术分别设计出基于耗散超混沌以及保守混沌的伪随机信号发生器。NIST测试结果显示,上述伪随机信号发生器均通过了16项随机性指标,因此可以用于通信加密。