The increased use of deep learning (DL) in academia, government and industry has, in turn, led to the popularity of on-premise and cloud-hosted deep learning platforms, whose goals are to enable organizations utilize expensive resources effectively, and to share said resources among multiple teams in a fair and effective manner. In this paper, we examine the elastic scaling of Deep Learning (DL) jobs over large-scale training platforms and propose a novel resource allocation strategy for DL training jobs, resulting in improved job run time performance as well as increased cluster utilization. We begin by analyzing DL workloads and exploit the fact that DL jobs can be run with a range of batch sizes without affecting their final accuracy. We formulate an optimization problem that explores a dynamic batch size allocation to individual DL jobs based on their scaling efficiency, when running on multiple nodes. We design a fast dynamic programming based optimizer to solve this problem in real-time to determine jobs that can be scaled up/down, and use this optimizer in an autoscaler to dynamically change the allocated resources and batch sizes of individual DL jobs. We demonstrate empirically that our elastic scaling algorithm can complete up to $\approx 2 \times$ as many jobs as compared to a strong baseline algorithm that also scales the number of GPUs but does not change the batch size. We also demonstrate that the average completion time with our algorithm is up to $\approx 10 \times$ faster than that of the baseline.

中文翻译：

---

深度学习工作负载的有效弹性扩展

深度学习 (DL) 在学术界、政府和工业界的使用越来越多，反过来又导致了内部部署和云托管的深度学习平台的流行，其目标是使组织能够有效利用昂贵的资源，并共享以公平有效的方式在多个团队之间分配资源。在本文中，我们研究了深度学习 (DL) 作业在大规模训练平台上的弹性扩展，并为 DL 训练作业提出了一种新的资源分配策略，从而提高了作业运行时性能并提高了集群利用率。我们首先分析 DL 工作负载，并利用以下事实：DL 作业可以在不影响其最终准确性的情况下以各种批量大小运行。我们制定了一个优化问题，该问题在多个节点上运行时，根据扩展效率探索单个 DL 作业的动态批量大小分配。我们设计了一个基于快速动态编程的优化器来实时解决这个问题，以确定可以放大/缩小的作业，并在自动缩放器中使用此优化器来动态更改单个 DL 作业的分配资源和批量大小。我们凭经验证明，与同样扩展 GPU 数量但不改变批量大小的强基线算法相比，我们的弹性扩展算法可以完成多达 $\approx 2\times$ 的作业。我们还证明了我们算法的平均完成时间比基线快了大约 10 倍。我们设计了一个基于快速动态编程的优化器来实时解决这个问题，以确定可以放大/缩小的作业，并在自动缩放器中使用此优化器来动态更改单个 DL 作业的分配资源和批量大小。我们凭经验证明，与同样扩展 GPU 数量但不改变批量大小的强基线算法相比，我们的弹性扩展算法可以完成多达 $\approx 2\times$ 的作业。我们还证明了我们算法的平均完成时间比基线快了大约 10 倍。我们设计了一个基于快速动态编程的优化器来实时解决这个问题，以确定可以放大/缩小的作业，并在自动缩放器中使用此优化器来动态更改单个 DL 作业的分配资源和批量大小。我们凭经验证明，与同样扩展 GPU 数量但不改变批量大小的强基线算法相比，我们的弹性扩展算法可以完成多达 $\approx 2\times$ 的作业。我们还证明了我们算法的平均完成时间比基线快了大约 10 倍。并在自动缩放器中使用此优化器来动态更改单个 DL 作业的分配资源和批量大小。我们凭经验证明，与同样扩展 GPU 数量但不改变批量大小的强基线算法相比，我们的弹性扩展算法可以完成多达 $\approx 2\times$ 的作业。我们还证明了我们算法的平均完成时间比基线快了大约 10 倍。并在自动缩放器中使用此优化器来动态更改单个 DL 作业的分配资源和批量大小。我们凭经验证明，与同样扩展 GPU 数量但不改变批量大小的强基线算法相比，我们的弹性扩展算法可以完成多达 $\approx 2\times$ 的作业。我们还证明了我们算法的平均完成时间比基线快了大约 10 倍。