当前位置:
X-MOL 学术
›
arXiv.cs.PF
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Scalable Load Balancing in the Presence of Heterogeneous Servers
arXiv - CS - Performance Pub Date : 2020-06-24 , DOI: arxiv-2006.13987 Kristen Gardner, Jazeem Abdul Jaleel, Alexander Wickeham, Sherwin Doroudi
arXiv - CS - Performance Pub Date : 2020-06-24 , DOI: arxiv-2006.13987 Kristen Gardner, Jazeem Abdul Jaleel, Alexander Wickeham, Sherwin Doroudi
Heterogeneity is becoming increasingly ubiquitous in modern large-scale
computer systems. Developing good load balancing policies for systems whose
resources have varying speeds is crucial in achieving low response times.
Indeed, how best to dispatch jobs to servers is a classical and well-studied
problem in the queueing literature. Yet the bulk of existing work on
large-scale systems assumes homogeneous servers; unfortunately, policies that
perform well in the homogeneous setting can cause unacceptably poor
performance---or even instability---in heterogeneous systems. We adapt the "power-of-d" versions of both the Join-the-Idle-Queue and
Join-the-Shortest-Queue policies to design two corresponding families of
heterogeneity-aware dispatching policies, each of which is parameterized by a
pair of routing probabilities. Unlike their heterogeneity-unaware counterparts,
our policies use server speed information both when choosing which servers to
query and when probabilistically deciding where (among the queried servers) to
dispatch jobs. Both of our policy families are analytically tractable: our mean
response time and queue length distribution analyses are exact as the number of
servers approaches infinity, under standard assumptions. Furthermore, our
policy families achieve maximal stability and outperform well-known dispatching
rules---including heterogeneity-aware policies such as
Shortest-Expected-Delay---with respect to mean response time.
中文翻译:
存在异构服务器时的可扩展负载平衡
异质性在现代大型计算机系统中变得越来越普遍。为资源具有不同速度的系统开发良好的负载平衡策略对于实现低响应时间至关重要。实际上,如何最好地将作业分派到服务器是排队文献中一个经典且经过充分研究的问题。然而,大规模系统上的大部分现有工作都假设服务器是同构的。不幸的是,在同构设置中表现良好的策略可能会导致在异构系统中表现不佳——甚至不稳定。我们采用了 Join-the-Idle-Queue 和 Join-the-Shortest-Queue 策略的“power-of-d”版本来设计两个对应的异构感知调度策略系列,每个系列都由一对参数化路由概率。与不知道异构性的对应策略不同,我们的策略在选择要查询的服务器时以及在概率性地决定(在被查询的服务器中)分配作业的位置时都使用服务器速度信息。我们的两个策略系列在分析上都是易于处理的:我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外,我们的策略族实现了最大的稳定性,并且在平均响应时间方面优于众所周知的调度规则——包括诸如最短预期延迟之类的异构感知策略。我们的两个策略系列在分析上都是易于处理的:我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外,我们的策略族实现了最大的稳定性,并且在平均响应时间方面优于众所周知的调度规则——包括诸如最短预期延迟之类的异构感知策略。我们的两个策略系列在分析上都是易于处理的:我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外,我们的策略族实现了最大的稳定性,并且在平均响应时间方面优于众所周知的调度规则——包括诸如最短预期延迟之类的异构感知策略。
更新日期:2020-06-26
中文翻译:
存在异构服务器时的可扩展负载平衡
异质性在现代大型计算机系统中变得越来越普遍。为资源具有不同速度的系统开发良好的负载平衡策略对于实现低响应时间至关重要。实际上,如何最好地将作业分派到服务器是排队文献中一个经典且经过充分研究的问题。然而,大规模系统上的大部分现有工作都假设服务器是同构的。不幸的是,在同构设置中表现良好的策略可能会导致在异构系统中表现不佳——甚至不稳定。我们采用了 Join-the-Idle-Queue 和 Join-the-Shortest-Queue 策略的“power-of-d”版本来设计两个对应的异构感知调度策略系列,每个系列都由一对参数化路由概率。与不知道异构性的对应策略不同,我们的策略在选择要查询的服务器时以及在概率性地决定(在被查询的服务器中)分配作业的位置时都使用服务器速度信息。我们的两个策略系列在分析上都是易于处理的:我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外,我们的策略族实现了最大的稳定性,并且在平均响应时间方面优于众所周知的调度规则——包括诸如最短预期延迟之类的异构感知策略。我们的两个策略系列在分析上都是易于处理的:我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外,我们的策略族实现了最大的稳定性,并且在平均响应时间方面优于众所周知的调度规则——包括诸如最短预期延迟之类的异构感知策略。我们的两个策略系列在分析上都是易于处理的:我们的平均响应时间和队列长度分布分析在标准假设下随着服务器数量接近无穷大而精确。此外,我们的策略族实现了最大的稳定性,并且在平均响应时间方面优于众所周知的调度规则——包括诸如最短预期延迟之类的异构感知策略。