This paper introduces a load-balancing policy that interpolates between two well-known policies, namely join the shortest queue (JSQ) and join the least workload (JLW), and studies it in heavy traffic. This policy, which we call replicate to the shortest queues (RSQ(d)), routes jobs from a stream of arrivals into buffers attached to N servers by replicating each arrival into $$1\le d\le N$$1≤d≤N tasks and sending the replicas to the d shortest queues. When the first of the tasks reaches a server, its $$d-1$$d-1 replicas are canceled. Clearly, RSQ(1) is equivalent to JSQ, and it has been shown that RSQ(N) is equivalent to JLW; intermediate values of d provide a trade-off between good performance measures of JSQ and those of JLW. In heavy traffic, a key property underlying asymptotic analysis of load-balancing policies is state space collapse (SSC). Unlike policies such as JSQ, where SSC is well understood, the treatment of SSC under RSQ(d) requires addressing the massive cancellations that highly complicate the queue length dynamics. Our first main result is that SSC holds under RSQ(d) for possibly heterogeneous servers. Based on this result, we obtain diffusion limits for the queue lengths in the form of one-dimensional reflected Brownian motion, asymptotic characterization of the short-time-averaged delay process and a version of Reiman’s snapshot principle. We illustrate using simulations that as d increases the server workloads become more balanced, and the delay distribution’s tail becomes lighter. We also discuss the implementation complexity of the policy as compared to that of the redundancy routing policy, to which it is closely related.

中文翻译：

---

复制到最短队列

本文介绍了一种负载均衡策略，它在两个众所周知的策略之间进行插值，即加入最短队列（JSQ）和加入最少工作量（JLW），并在大流量下对其进行研究。我们称之为复制到最短队列 (RSQ(d)) 的策略，通过将每个到达复制到 $$1\le d\le N$$1≤d≤N，将作业从到达流路由到连接到 N 个服务器的缓冲区任务并将副本发送到 d 个最短队列。当第一个任务到达服务器时，它的 $$d-1$$d-1 个副本被取消。显然，RSQ(1)等价于JSQ，并且已经证明RSQ(N)等价于JLW；d 的中间值提供了 JSQ 和 JLW 的良好性能度量之间的权衡。在繁忙的交通中，负载平衡策略渐进分析的一个关键特性是状态空间崩溃 (SSC)。与 JSQ 等 SSC 很容易理解的策略不同，RSQ(d) 下的 SSC 处理需要解决大量取消，这使队列长度动态非常复杂。我们的第一个主要结果是，对于可能的异构服务器，SSC 在 RSQ(d) 下保持不变。基于此结果，我们以一维反射布朗运动、短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本的形式获得队列长度的扩散限制。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。在 SSC 很好理解的地方，在 RSQ(d) 下处理 SSC 需要解决大量取消，这使队列长度动态非常复杂。我们的第一个主要结果是，对于可能的异构服务器，SSC 在 RSQ(d) 下保持不变。基于此结果，我们以一维反射布朗运动、短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本的形式获得队列长度的扩散限制。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。在 SSC 很好理解的地方，在 RSQ(d) 下处理 SSC 需要解决大量取消，这使队列长度动态非常复杂。我们的第一个主要结果是，对于可能的异构服务器，SSC 在 RSQ(d) 下保持不变。基于此结果，我们以一维反射布朗运动、短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本的形式获得队列长度的扩散限制。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。在 RSQ(d) 下处理 SSC 需要解决大量取消，这使队列长度动态非常复杂。我们的第一个主要结果是，对于可能的异构服务器，SSC 在 RSQ(d) 下保持不变。基于此结果，我们以一维反射布朗运动、短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本的形式获得队列长度的扩散限制。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。在 RSQ(d) 下处理 SSC 需要解决大量取消，这使队列长度动态非常复杂。我们的第一个主要结果是，对于可能的异构服务器，SSC 在 RSQ(d) 下保持不变。基于此结果，我们以一维反射布朗运动、短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本的形式获得队列长度的扩散限制。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。我们的第一个主要结果是，对于可能的异构服务器，SSC 在 RSQ(d) 下保持不变。基于此结果，我们以一维反射布朗运动、短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本的形式获得队列长度的扩散限制。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。我们的第一个主要结果是，对于可能的异构服务器，SSC 在 RSQ(d) 下保持不变。基于此结果，我们以一维反射布朗运动、短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本的形式获得队列长度的扩散限制。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。短时间平均延迟过程的渐近表征和 Reiman 快照原理的一个版本。我们使用模拟来说明随着 d 的增加，服务器工作负载变得更加平衡，并且延迟分布的尾部变得更轻。我们还讨论了与冗余路由策略相比，该策略的实现复杂性，与它密切相关。