当前位置:
X-MOL 学术
›
arXiv.cs.DC
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Extending SLURM for Dynamic Resource-Aware Adaptive Batch Scheduling
arXiv - CS - Distributed, Parallel, and Cluster Computing Pub Date : 2020-09-16 , DOI: arxiv-2009.08289 Mohak Chadha, Jophin John, Michael Gerndt
arXiv - CS - Distributed, Parallel, and Cluster Computing Pub Date : 2020-09-16 , DOI: arxiv-2009.08289 Mohak Chadha, Jophin John, Michael Gerndt
With the growing constraints on power budget and increasing hardware failure
rates, the operation of future exascale systems faces several challenges.
Towards this, resource awareness and adaptivity by enabling malleable jobs has
been actively researched in the HPC community. Malleable jobs can change their
computing resources at runtime and can significantly improve HPC system
performance. However, due to the rigid nature of popular parallel programming
paradigms such as MPI and lack of support for dynamic resource management in
batch systems, malleable jobs have been largely unrealized. In this paper, we
extend the SLURM batch system to support the execution and batch scheduling of
malleable jobs. The malleable applications are written using a new adaptive
parallel paradigm called Invasive MPI which extends the MPI standard to support
resource-adaptivity at runtime. We propose two malleable job scheduling
strategies to support performance-aware and power-aware dynamic reconfiguration
decisions at runtime. We implement the strategies in SLURM and evaluate them on
a production HPC system. Results for our performance-aware scheduling strategy
show improvements in makespan, average system utilization, average response,
and waiting times as compared to other scheduling strategies. Moreover, we
demonstrate dynamic power corridor management using our power-aware strategy.
中文翻译:
为动态资源感知自适应批处理调度扩展 SLURM
随着对功率预算的限制越来越多,硬件故障率越来越高,未来百亿亿级系统的运行面临着几个挑战。为此,HPC 社区一直在积极研究通过启用可塑性工作来提高资源意识和适应性。可扩展作业可以在运行时更改其计算资源,并且可以显着提高 HPC 系统性能。然而,由于流行的并行编程范式(如 MPI)的刚性本质以及批处理系统中缺乏对动态资源管理的支持,可塑性作业在很大程度上没有实现。在本文中,我们扩展了 SLURM 批处理系统以支持可扩展作业的执行和批处理调度。可塑性应用程序是使用称为 Invasive MPI 的新自适应并行范式编写的,该范式扩展了 MPI 标准以支持运行时的资源适应性。我们提出了两种可延展的作业调度策略来支持运行时的性能感知和功率感知动态重新配置决策。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比,我们的性能感知调度策略的结果显示,在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外,我们使用我们的功率感知策略展示了动态电源走廊管理。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比,我们的性能感知调度策略的结果显示,在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外,我们使用我们的功率感知策略展示了动态电源走廊管理。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比,我们的性能感知调度策略的结果显示,在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外,我们使用我们的功率感知策略展示了动态电源走廊管理。
更新日期:2020-09-18
中文翻译:
为动态资源感知自适应批处理调度扩展 SLURM
随着对功率预算的限制越来越多,硬件故障率越来越高,未来百亿亿级系统的运行面临着几个挑战。为此,HPC 社区一直在积极研究通过启用可塑性工作来提高资源意识和适应性。可扩展作业可以在运行时更改其计算资源,并且可以显着提高 HPC 系统性能。然而,由于流行的并行编程范式(如 MPI)的刚性本质以及批处理系统中缺乏对动态资源管理的支持,可塑性作业在很大程度上没有实现。在本文中,我们扩展了 SLURM 批处理系统以支持可扩展作业的执行和批处理调度。可塑性应用程序是使用称为 Invasive MPI 的新自适应并行范式编写的,该范式扩展了 MPI 标准以支持运行时的资源适应性。我们提出了两种可延展的作业调度策略来支持运行时的性能感知和功率感知动态重新配置决策。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比,我们的性能感知调度策略的结果显示,在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外,我们使用我们的功率感知策略展示了动态电源走廊管理。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比,我们的性能感知调度策略的结果显示,在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外,我们使用我们的功率感知策略展示了动态电源走廊管理。我们在 SLURM 中实施策略并在生产 HPC 系统上对其进行评估。与其他调度策略相比,我们的性能感知调度策略的结果显示,在完工时间、平均系统利用率、平均响应和等待时间方面有所改进。此外,我们使用我们的功率感知策略展示了动态电源走廊管理。