Abstract Heterogeneity is becoming increasingly ubiquitous in modern large-scale computer systems. Developing good load balancing policies for systems whose resources have varying speeds is crucial in achieving low response times. Indeed, how best to dispatch jobs to servers is a classical and well-studied problem in the queueing literature. Yet the bulk of existing work on large-scale systems assumes homogeneous servers; unfortunately, policies that perform well in the homogeneous setting can cause unacceptably poor performance in heterogeneous systems. We adapt the “power-of- d ” versions of both the Join-the-Idle-Queue and Join-the-Shortest-Queue policies to design two corresponding families of heterogeneity-aware dispatching policies, each of which is parameterized by a pair of routing probabilities. Unlike their heterogeneity-unaware counterparts, our policies use server speed information both when choosing which servers to query and when probabilistically deciding where (among the queried servers) to dispatch jobs. Both of our policy families are analytically tractable: our mean response time and queue length distribution analyses are exact as the number of servers approaches infinity, under standard assumptions. Furthermore, our policy families achieve maximal stability and outperform well-known dispatching rules—including heterogeneity-aware policies such as Shortest-Expected-Delay—with respect to mean response time.

中文翻译：

---

存在异构服务器时的可扩展负载平衡

摘要 异构在现代大型计算机系统中变得越来越普遍。为资源具有不同速度的系统开发良好的负载平衡策略对于实现低响应时间至关重要。实际上，如何最好地将作业分派到服务器是排队文献中一个经典且经过充分研究的问题。然而，大规模系统上的大部分现有工作都假设服务器是同构的。不幸的是，在同构环境中表现良好的策略可能会在异构系统中导致无法接受的糟糕表现。我们采用了 Join-the-Idle-Queue 和 Join-the-Shortest-Queue 策略的“power-of-d”版本来设计两个对应的异构感知调度策略系列，每个系列都由一对参数化路由概率。与不知道异构性的对应策略不同，我们的策略在选择要查询的服务器时以及在概率性地决定（在被查询的服务器中）分配作业的位置时都使用服务器速度信息。我们的两个策略系列在分析上都是易于处理的：我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外，我们的策略系列实现了最大的稳定性，并且在平均响应时间方面优于众所周知的调度规则——包括诸如 Shortest-Expected-Delay 之类的异构感知策略。我们的两个策略系列在分析上都是易于处理的：我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外，我们的策略系列实现了最大的稳定性，并且在平均响应时间方面优于众所周知的调度规则——包括诸如 Shortest-Expected-Delay 之类的异构感知策略。我们的两个策略系列在分析上都是易于处理的：我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外，我们的策略系列实现了最大的稳定性，并且在平均响应时间方面优于众所周知的调度规则——包括诸如 Shortest-Expected-Delay 之类的异构感知策略。