针对目前工程结构日趋复杂,数值分析规模日渐庞大,分析类型逐渐多样化的复杂工程有限元分析问题,以往的单个计算节点单线程有限元分析已经无法满足实际工程应用需求。因此,对大规模有限元并行分析算法以及软件的研究已经成为解决数值计算瓶颈的关键问题。多重多级子结构算法是将整体结构分解为多层子结构,不同子结构可独立计算,并通过将内部自由度凝聚至出口自由度的方法减少上下层之间的信息传递,运用子结构旋转、镜像、平移可以避免对拥有相同结构的子结构进行重复计算。而这些多重多级子结构方法的特点,恰恰符合并行计算中,分而治之、减少各计算节点通信量、减少计算量的最优并行策略,因此,基于上述思想,针对超算环境分布式系统,本文构建了多重多级子结构分布式并行计算MPI和子结构有限元流程共享内存并行计算OpenMP的混合并行有限元计算框架。该并行计算策略的实现是基于SiPESC开放式结构有限元分析系统并利用SiPESC平台丰富的有限元分析功能,使用直接法并行求解器以保证多重多级子结构算法并行求解精度,通过超算环境部署,实现千万自由度有限元模型的求解及百核计算资源调用,并且求解精度与商业软件计算结果相一致。在多重多级子结构混合并行有限元计算框架基础上,针对有限元瞬态响应分析需要由初始时刻系统状态递推迭代得到系统随时间的运动变化,在对于时间进行离散的基础上,在每一个时间点都满足该时刻的等效静力平衡方程,通过对该方程的求解得到下一时间点的系统状态。由于等效静力平衡方程的求解步骤与多重多级子结构静力问题的求解相同,且多时间步的等效静力平衡方程求解时不需要重新计算静凝聚流程,避免了多重多级子结构中最为耗时的计算过程,因此使用多重多级子结构并行框架处理该类问题较之静力问题拥有更好的效率。根据以上优点,本文在多重多级子结构并行框架的基础上发展一套多重多级子结构瞬态并行软件框架,该框架利用了多重多级子结构框架的并行特点,并对等效刚度阵以及等效外力载荷等部分进行粗粒度并行,且使用数值算例证明了该框架的有效性。此外,针对并行软件研发中一些技术难点问题,本文提出了相应的解决方法。为解决有限元并行计算的负载平衡问题,通过引入超图结构将有限元模型的节点和单元都映射为图顶点,拓扑关系映射为边,准确的描述出有限元模型的自由度与网格对应关系以及约束情况,得到自由度更加平衡的子结构模型。针对类似组装总体刚度阵时内存泄漏和并行效率低的问题,发现其原因一方面为二叉树同时申请产生过多内存碎片,以至于内存无法回收,另一方面为采用普通二叉树在处理子结构矩阵时易单侧插入数据形成最劣情况二叉树,本文分别使用内存池和区间二叉树解决该问题。区间二叉树基于普通二叉树发展而来,通过将二叉树节点储存的键值配对改为区间键值配对,降低二叉树的高度,减少产生的内存碎片进而避免内存泄漏。在区间二叉树的基础上,进一步发展出一种针对多重多级子结构的两级分布式并行组装总刚的方法,分别在底层子结构和顶层子结构进行两步组装,达到并行组装刚度阵的目的,进一步提高并行效率。