我国航天科技工程迫切需求特征尺寸为101m～102m量级的大型空间可展开结构，以便研制可入轨展开的大型星载天线。目前，我国的大型空间可展开结构技术还远远不能满足这些要求，在主要技术指标上与美国、日本尚有显著差距，其原因是在相关基础研究方面的积累不够。另一方面，随着航天任务目标与地球的距离越来越远，传统的化学推进加引力辅助已经无法完成许多深空探测任务。太阳帆利用大面积的薄膜结构反射太阳光子，动量交换对太阳帆产生反作用力用于轨道推进。太阳帆属于一种不需要消耗推进剂的新型推进方式，在深空探测中具有很好的发展前景，不仅能够实现星际转移，还能实现一些特殊的非开普勒轨道，例如，人工拉格朗日点、悬浮轨道等。本文主要通过对以柔性机械臂及太阳帆为代表的大型空间可展开结构非线性动力学的建模与分析，从复杂结构非线性动力学与混沌动力学、航天器动力学角度出发，研究其动力学特征与机理，以期为航天工程的项目论证及型号设计提供一些参考。　　柔性机械臂处于展开、收拢状态下是典型的时变参数动力学系统。本文应用Hamilton变分原理推导了偏微分形式的动力学方程组并通过时变Galerkin方法将动力学方程组离散为以广义模态坐标表示的有限自由度时变系数的常微分动力学方程组。利用RK45数值积分策略并实时更新系统模态信息分析了该时变动力学系统在展开、收拢状态下的动力学响应，详细地分析了瞬时模态之间的能量传递规律。　　柔性机械臂展开锁定后表现为柔性多梁结构，该自参数梁结构受航天器本体扰动下呈现出不同于简单梁、板和壳的动力学特性。本文采用多尺度方法，考虑1∶2内共振，分析了柔性自参数梁结构的自由振动，发现系统能量在各模态之间连续地传递。主共振的分析表明，系统存在饱和及能量渗透、振幅跳跃、Hopf分叉等丰富的动力学行为，且动力学模型中的惯性非线性的作用不可忽略。不同于单自由度非线性系统需要承受较大的激励水平才能发生混沌运动，该柔性自参数梁结构在承受很小的激励水平时便可发生复杂的动力学行为，利用经典的Melnikov分析解析地研究了“非共振”系统的全局分叉行为，数值模拟验证了解析预测。“共振”系统的全局分叉及多脉冲混沌动力学可解释许多复杂有趣的非线性动力学行为，例如，模态局部化及模态之间能量流动的拟序结构。本文应用两种改进的全局摄动方法研究了锁定后的柔性机械臂在1∶2内共振及精细主共振情况下的全局分叉行为及多脉冲混沌运动并确定了参数区间，给出了直观的物理解释，结合动力系统在相空间中的几何结构形象地展示了受本体扰动下柔性机械臂的非线性正则模态及复杂而有序的混沌运动。　　太阳帆可以提供连续小推力且比冲无限大，可以实现许多以往无法完成的深空探测任务。本文基于地-月系圆形限制性三体模型，探索了利用太阳帆航天器构建新颖的非开普勒轨道。不同于日-地系，地-月系太阳帆的非线性动力学方程是非自治的。针对太阳帆的法线始终指向太阳线的方向的姿态控制方案，采用多尺度方法解析地给出了共线拉格朗日点附近太阳帆轨道的三阶近似解析解，由于太阳帆加速度面外分量的存在，可构建悬浮于L2点上空的慢周期轨道实现月球背面的通信。另外，采用多尺度方法解析地给出了地-月系三角拉格朗日点附近太阳帆轨道的三阶近似解析解，可构建L4(L5)附近的慢周期轨道用于定点在月球背面的探测器与地球联系的中继站。　　日-地系中的太阳帆姿态具有任意性，以至于作用于帆面的太阳光压力的方向不一定沿着太阳线。而太阳光压力的大小又可以通过改变太阳帆的面质比进行调节。因此，利用太阳帆可生成丰富的，以太阳帆姿态角和面质比为参数的人工平衡解-人工拉格朗日点。本文基于日-地系圆形限制性三体模型，应用非线性模态的不变流形方法获得了降阶的动力学系统并结合Linstedt-Poincaré摄动方法构建了高精度的人工L1点附近的太阳帆Halo轨道、Lyapunov垂直周期轨道以及Lyapunov平面周期轨道，人工L4点附近的太阳帆Lyapunov垂直周期轨道和长（短）周期轨道，结果与完整的动力学系统下直接进行Linstedt-Poincaré摄动得到的结果吻合地很好，验证了非线性模态的不变流形方法在研究人工共线及三角拉格朗日点附近周期解问题的可行性及有效性。