Reducing the energy consumption of the servers in a data center via proper job allocation is desirable. Existing advanced job allocation algorithms, based on constrained optimization formulations capturing servers’ complex power consumption and thermal dynamics, often scale poorly with the data center size and optimization horizon. This article applies deep reinforcement learning to build an allocation algorithm for long-lasting and compute-intensive jobs that are increasingly seen among today's computation demands. Specifically, a deep Q-network is trained to allocate jobs, aiming to maximize a cumulative reward over long horizons. The training is performed offline using a computational model based on long short-term memory networks that capture the servers’ power and thermal dynamics. This offline training approach avoids slow online convergence, low energy efficiency, and potential server overheating during the agent's extensive state-action space exploration if it directly interacts with the physical data center in the usually adopted online learning scheme. At run time, the trained Q-network is forward-propagated with little computation to allocate jobs. Evaluation based on eight months’ physical state and job arrival records from a national supercomputing data center hosting 1,152 processors shows that our solution reduces computing power consumption by more than 10 percent and processor temperature by more than 4°C without sacrificing job processing throughput.

中文翻译：

---

通过深度强化学习在数据中心进行高效的计算密集型作业分配

通过适当的工作分配来降低数据中心服务器的能耗是可取的。现有的高级作业分配算法基于捕获服务器复杂功耗和热动态的约束优化公式，通常随着数据中心规模和优化范围的扩大而难以扩展。本文应用深度强化学习为当今计算需求中越来越多的持久和计算密集型作业构建分配算法。具体来说，训练一个深度 Q 网络来分配工作，旨在最大化长期累积奖励。训练是使用基于长期短期记忆网络的计算模型离线进行的，该网络捕获服务器的功率和热动态。如果代理在通常采用的在线学习方案中直接与物理数据中心交互，则这种离线训练方法避免了代理在广泛的状态-动作空间探索期间在线收敛缓慢、能源效率低和潜在的服务器过热。在运行时，经过训练的 Q 网络以很少的计算进行前向传播以分配作业。根据托管 1,152 个处理器的国家超级计算数据中心八个月的物理状态和作业到达记录的评估表明，我们的解决方案在不牺牲作业处理吞吐量的情况下将计算功耗降低了 10% 以上，处理器温度降低了 4°C 以上。如果它在通常采用的在线学习方案中直接与物理数据中心交互，则可以进行广泛的状态-动作空间探索。在运行时，经过训练的 Q 网络以很少的计算进行前向传播以分配作业。根据拥有 1,152 个处理器的国家超级计算数据中心八个月的物理状态和作业到达记录的评估表明，我们的解决方案在不牺牲作业处理吞吐量的情况下将计算功耗降低了 10% 以上，处理器温度降低了 4°C 以上。如果它在通常采用的在线学习方案中直接与物理数据中心交互，则可以进行广泛的状态-动作空间探索。在运行时，经过训练的 Q 网络以很少的计算进行前向传播以分配作业。根据托管 1,152 个处理器的国家超级计算数据中心八个月的物理状态和作业到达记录的评估表明，我们的解决方案在不牺牲作业处理吞吐量的情况下将计算功耗降低了 10% 以上，处理器温度降低了 4°C 以上。