With the growing constraints on power budget and increasing hardware failure rates, the operation of future exascale systems faces several challenges. Towards this, resource awareness and adaptivity by enabling malleable jobs has been actively researched in the HPC community. Malleable jobs can change their computing resources at runtime and can significantly improve HPC system performance. However, due to the rigid nature of popular parallel programming paradigms such as MPI and lack of support for dynamic resource management in batch systems, malleable jobs have been largely unrealized. In this paper, we extend the SLURM batch system to support the execution and batch scheduling of malleable jobs. The malleable applications are written using a new adaptive parallel paradigm called Invasive MPI which extends the MPI standard to support resource-adaptivity at runtime. We propose two malleable job scheduling strategies to support performance-aware and power-aware dynamic reconfiguration decisions at runtime. We implement the strategies in SLURM and evaluate them on a production HPC system. Results for our performance-aware scheduling strategy show improvements in makespan, average system utilization, average response, and waiting times as compared to other scheduling strategies. Moreover, we demonstrate dynamic power corridor management using our power-aware strategy.

中文翻译：

---

为动态资源感知自适应批处理调度扩展 SLURM

随着对功率预​​算的限制越来越多，硬件故障率越来越高，未来百亿亿级系统的运行面临着几个挑战。为此，HPC 社区一直在积极研究通过启用可塑性工作来提高资源意识和适应性。可扩展作业可以在运行时更改其计算资源，并且可以显着提高 HPC 系统性能。然而，由于流行的并行编程范式（如 MPI）的刚性本质以及批处理系统中缺乏对动态资源管理的支持，可塑性作业在很大程度上没有实现。在本文中，我们扩展了 SLURM 批处理系统以支持可扩展作业的执行和批处理调度。可塑性应用程序是使用称为 Invasive MPI 的新自适应并行范式编写的，该范式扩展了 MPI 标准以支持运行时的资源适应性。我们提出了两种可延展的作业调度策略来支持运行时的性能感知和功率感知动态重新配置决策。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比，我们的性能感知调度策略的结果显示，在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外，我们使用我们的功率感知策略展示了动态电源走廊管理。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比，我们的性能感知调度策略的结果显示，在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外，我们使用我们的功率感知策略展示了动态电源走廊管理。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比，我们的性能感知调度策略的结果显示，在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外，我们使用我们的功率感知策略展示了动态电源走廊管理。