随着高性能计算的发展,HPC系统的规模和复杂度大幅度增加,其计算能力从P级向E级发展。这就为并行程序的移植和优化带来了极大的挑战。并行程序向大规模HPC系统移植时通常面临着执行效率低、可扩展性差的问题,难以充分利用硬件系统的计算资源。这会造成HPC系统计算资源和电力资源的浪费,增加运行成本。此外,由于电力成本和供电系统的限制,功率也已成为大规模HPC系统尤其是未来E级系统的关键设计约束。这就需要针对并行程序构建性能预测模型,发掘程序的性能和扩展性瓶颈,并在功率约束下根据系统和应用程序的特征提出相应的协同优化方法,进而提高HPC系统能效。本文针对HPC系统并行程序性能预测和能效优化问题,开展了一系列研究工作,具体包括以下几个方面:首先,为了在HPC程序大规模移植之前,在目标系统的小规模原型系统或子集上实现程序可扩展性预测,本文提出了一种基于编译级中间代码的HPC程序可扩展性预测方法。该方法将编译技术与细粒度的回归分析相结合,对HPC程序的计算和通讯进行分开建模。为了降低建模的成本,本文在计算预测模块提出了混合基本块插桩和代码删减算法,在通讯预测模块采用了细粒度的回归建模方法。整个过程不需要领域专家的指导,实现了性能建模的自动化。在Taub集群和天河二号超级计算机上的利用真实HPC应用程序进行实验。结果表明,对于不同的应用程序,该方法所实现的预测误差在0.35%到11.61%之间,平均误差为4.28%。与传统基于回归的预测方法相比,该方法在预测应用程序在大规模环境下的性能时具有更高的准确性。其次,为了在HPC程序大规模移植之后,在目标系统上实现程序的多参数性能预测,本文提出了多参数性能建模与预测方法。该方法以基本块频率为特征,采用机器学习算法自动构建具有较高泛化能力的多参数性能模型。为了减少预测开销,本文提出了一些特征过滤策略来减少训练阶段的特征数量,并为每个目标程序构建了名为BBF collector的串行程序,以便在预测阶段快速收集特征值。在天河二号超级计算机上利用真实的并行应用程序进行测试。结果表明,相比于其他基于输入参数的性能建模方法,本文所提出的以基本块频率作为特征的方法具有更好的预测效果,其平均预测误差为6.33%,平均预测开销小于原程序执行开销的0.13%。然后,为了便于对HPC程序跨平台移植性能进行评估,本文提出了一种面向HPC应用的通用基准测试程序自动构建方法,该方法以原始程序的跟踪日志作为输入,自动生成能够完全反映原始程序计算、通讯和I/O特征的高保真基准测试程序。在Taub集群和天河二号超级计算机上利用真实的并行应用进行实验。结果表明,所生成的基准测试程序能够准确地保持原始并行应用的性能特征,可以准确预测原始应用程序的性能。此外,可以按比例减少循环的迭代次数来缩减基准测试程序的执行时间,从而减少预测开销。该方法在性能预测上比原程序执行速度提高了10倍,且平均预测误差小于10%。最后,为了对功率约束系统中功率分配策略和HPC程序能效进行优化,本文将功率上限与非核频率缩放相结合,提出了一种在功率约束系统上预测并行应用的帕累托最优功率上限配置方法。该方法首先利用精心设计的微基准测试程序和少量已有的基准测试程序建立训练集,然后采用多目标机器学习算法,将单目标堆叠方法与极限梯度提升相结合,建立性能和能量的多目标模型。这些模型可用于预测最佳处理器和内存功率上限配置,帮助计算节点执行细粒度的功率上限分配。当确定最佳功率上限配置时,利用非核心频率缩放进一步优化系统能耗。与参考功率上限配置相比,该方法可以将系统所需的功率上限降低31.35%,平均能耗降低12.32%,平均性能损失仅为2.43%。