当前位置: X-MOL 学术arXiv.cs.PF › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
High-Performance Routing with Multipathing and Path Diversity in Ethernet and HPC Networks
arXiv - CS - Performance Pub Date : 2020-07-07 , DOI: arxiv-2007.03776
Maciej Besta, Jens Domke, Marcel Schneider, Marek Konieczny, Salvatore Di Girolamo, Timo Schneider, Ankit Singla, Torsten Hoefler

The recent line of research into topology design focuses on lowering network diameter. Many low-diameter topologies such as Slim Fly or Jellyfish that substantially reduce cost, power consumption, and latency have been proposed. A key challenge in realizing the benefits of these topologies is routing. On one hand, these networks provide shorter path lengths than established topologies such as Clos or torus, leading to performance improvements. On the other hand, the number of shortest paths between each pair of endpoints is much smaller than in Clos, but there is a large number of non-minimal paths between router pairs. This hampers or even makes it impossible to use established multipath routing schemes such as ECMP. In this work, to facilitate high-performance routing in modern networks, we analyze existing routing protocols and architectures, focusing on how well they exploit the diversity of minimal and non-minimal paths. We first develop a taxonomy of different forms of support for multipathing and overall path diversity. Then, we analyze how existing routing schemes support this diversity. Among others, we consider multipathing with both shortest and non-shortest paths, support for disjoint paths, or enabling adaptivity. To address the ongoing convergence of HPC and "Big Data" domains, we consider routing protocols developed for both HPC systems and for data centers as well as general clusters. Thus, we cover architectures and protocols based on Ethernet, InfiniBand, and other HPC networks such as Myrinet. Our review will foster developing future high-performance multipathing routing protocols in supercomputers and data centers.

中文翻译:

以太网和 HPC 网络中具有多路径和路径多样性的高性能路由

最近对拓扑设计的研究主要集中在降低网络直径上。已经提出了许多可以显着降低成本、功耗和延迟的小直径拓扑,例如 Slim Fly 或 Jellyfish。实现这些拓扑优势的一个关键挑战是路由。一方面,这些网络提供的路径长度比已建立的拓扑(例如 Clos 或 torus)更短,从而提高了性能。另一方面,每对端点之间的最短路径数量比 Clos 中要少得多,但路由器对之间存在大量非最小路径。这会妨碍甚至无法使用已建立的多路径路由方案,例如 ECMP。在这项工作中,为了促进现代网络中的高性能路由,我们分析了现有的路由协议和架构,关注他们如何利用最小和非最小路径的多样性。我们首先开发了一个支持多路径和整体路径多样性的不同形式的分类法。然后,我们分析现有路由方案如何支持这种多样性。其中,我们考虑了最短路径和非最短路径的多路径、支持不相交路径或启用自适应。为了解决 HPC 和“大数据”域的持续融合,我们考虑为 HPC 系统和数据中心以及通用集群开发的路由协议。因此,我们涵盖了基于以太网、InfiniBand 和其他 HPC 网络(例如 Myrinet)的架构和协议。我们的审查将促进在超级计算机和数据中心开发未来的高性能多路径路由协议。我们首先开发了一个支持多路径和整体路径多样性的不同形式的分类法。然后,我们分析现有路由方案如何支持这种多样性。其中,我们考虑了最短路径和非最短路径的多路径、支持不相交路径或启用自适应。为了解决 HPC 和“大数据”域的持续融合,我们考虑为 HPC 系统和数据中心以及通用集群开发的路由协议。因此,我们涵盖了基于以太网、InfiniBand 和其他 HPC 网络(例如 Myrinet)的架构和协议。我们的审查将促进在超级计算机和数据中心开发未来的高性能多路径路由协议。我们首先开发了一个支持多路径和整体路径多样性的不同形式的分类法。然后,我们分析现有路由方案如何支持这种多样性。其中,我们考虑了最短路径和非最短路径的多路径、支持不相交路径或启用自适应。为了解决 HPC 和“大数据”域的持续融合,我们考虑为 HPC 系统和数据中心以及通用集群开发的路由协议。因此,我们涵盖了基于以太网、InfiniBand 和其他 HPC 网络(例如 Myrinet)的架构和协议。我们的审查将促进在超级计算机和数据中心开发未来的高性能多路径路由协议。我们分析了现有的路由方案如何支持这种多样性。其中,我们考虑了最短路径和非最短路径的多路径、支持不相交路径或启用自适应。为了解决 HPC 和“大数据”域的持续融合,我们考虑为 HPC 系统和数据中心以及通用集群开发的路由协议。因此,我们涵盖了基于以太网、InfiniBand 和其他 HPC 网络(例如 Myrinet)的架构和协议。我们的审查将促进在超级计算机和数据中心开发未来的高性能多路径路由协议。我们分析了现有的路由方案如何支持这种多样性。其中,我们考虑了最短路径和非最短路径的多路径、支持不相交路径或启用自适应。为了解决 HPC 和“大数据”域的持续融合,我们考虑为 HPC 系统和数据中心以及通用集群开发的路由协议。因此,我们涵盖了基于以太网、InfiniBand 和其他 HPC 网络(例如 Myrinet)的架构和协议。我们的审查将促进在超级计算机和数据中心开发未来的高性能多路径路由协议。
更新日期:2020-11-02
down
wechat
bug