In this paper, we focus on a popular DML framework -- the parameter server computation paradigm and iterative learning algorithms that proceed in rounds. We aim to reduce the communication complexity of Byzantine-tolerant DML algorithms in the single-hop radio network. Inspired by the CGC filter developed by Gupta and Vaidya, PODC 2020, we propose a gradient descent-based algorithm, Echo-CGC. Our main novelty is a mechanism to utilize the broadcast properties of the radio network to avoid transmitting the raw gradients (full $d$-dimensional vectors). In the radio network, each worker is able to overhear previous gradients that were transmitted to the parameter server. Roughly speaking, in Echo-CGC, if a worker "agrees" with a combination of prior gradients, it will broadcast the "echo message" instead of the its raw local gradient. The echo message contains a vector of coefficients (of size at most $n$) and the ratio of the magnitude between two gradients (a float). In comparison, the traditional approaches need to send $n$ local gradients in each round, where each gradient is typically a vector in an ultra-high dimensional space ($d\gg n$). The improvement on communication complexity of our algorithm depends on multiple factors, including number of nodes, number of faulty workers in an execution, and the cost function. We numerically analyze the improvement, and show that with a large number of nodes, Echo-CGC reduces $80\%$ of the communication under standard assumptions.

中文翻译：

---

Echo-CGC：单跳无线电网络中通信高效的拜占庭容忍分布式机器学习算法

在本文中，我们关注流行的 DML 框架——参数服务器计算范式和循环进行的迭代学习算法。我们的目标是降低单跳无线电网络中拜占庭容忍 DML 算法的通信复杂性。受 Gupta 和 Vaidya 在 PODC 2020 开发的 CGC 滤波器的启发，我们提出了一种基于梯度下降的算法 Echo-CGC。我们的主要新颖之处在于一种利用无线电网络的广播特性来避免传输原始梯度（完整的 $d$ 维向量）的机制。在无线电网络中，每个工作人员都能够听到传输到参数服务器的先前梯度。粗略地说，在 Echo-CGC 中，如果一个工人“同意”先前梯度的组合，它将广播“回声消息” 而不是它的原始局部梯度。回声消息包含一个系数向量（大小最多为 $n$）和两个梯度之间的幅度比（一个浮点数）。相比之下，传统方法需要在每一轮中发送 $n$ 个局部梯度，其中每个梯度通常是超高维空间 ($d\gg n$) 中的一个向量。我们算法对通信复杂度的改进取决于多种因素，包括节点数量、执行中出现故障的工人数量以及成本函数。我们对改进进行了数值分析，并表明在大量节点下，Echo-CGC 在标准假设下减少了 $80\%$ 的通信。传统方法需要在每一轮中发送 $n$ 个局部梯度，其中每个梯度通常是超高维空间 ($d\gg n$) 中的一个向量。我们算法对通信复杂度的改进取决于多种因素，包括节点数量、执行中出现故障的工人数量以及成本函数。我们对改进进行了数值分析，并表明在大量节点下，Echo-CGC 在标准假设下减少了 $80\%$ 的通信。传统方法需要在每一轮中发送 $n$ 个局部梯度，其中每个梯度通常是超高维空间 ($d\gg n$) 中的一个向量。我们算法对通信复杂度的改进取决于多种因素，包括节点数量、执行中出现故障的工人数量和成本函数。我们对改进进行了数值分析，并表明在大量节点下，Echo-CGC 在标准假设下减少了 $80\%$ 的通信。