当前位置:
X-MOL 学术
›
arXiv.cs.NI
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Federated Learning over Wireless Networks: A Band-limited Coordinated Descent Approach
arXiv - CS - Networking and Internet Architecture Pub Date : 2021-02-16 , DOI: arxiv-2102.07972 Junshan Zhang, Na Li, Mehmet Dedeoglu
arXiv - CS - Networking and Internet Architecture Pub Date : 2021-02-16 , DOI: arxiv-2102.07972 Junshan Zhang, Na Li, Mehmet Dedeoglu
We consider a many-to-one wireless architecture for federated learning at the
network edge, where multiple edge devices collaboratively train a model using
local data. The unreliable nature of wireless connectivity, together with
constraints in computing resources at edge devices, dictates that the local
updates at edge devices should be carefully crafted and compressed to match the
wireless communication resources available and should work in concert with the
receiver. Thus motivated, we propose SGD-based bandlimited coordinate descent
algorithms for such settings. Specifically, for the wireless edge employing
over-the-air computing, a common subset of k-coordinates of the gradient
updates across edge devices are selected by the receiver in each iteration, and
then transmitted simultaneously over k sub-carriers, each experiencing
time-varying channel conditions. We characterize the impact of communication
error and compression, in terms of the resulting gradient bias and mean squared
error, on the convergence of the proposed algorithms. We then study
learning-driven communication error minimization via joint optimization of
power allocation and learning rates. Our findings reveal that optimal power
allocation across different sub-carriers should take into account both the
gradient values and channel conditions, thus generalizing the widely used
water-filling policy. We also develop sub-optimal distributed solutions
amenable to implementation.
中文翻译:
无线网络上的联合学习:带限协作下降法
我们考虑了在网络边缘进行联合学习的多对一无线体系结构,其中多个边缘设备使用本地数据协作训练模型。无线连接的不可靠本质,以及边缘设备上计算资源的限制,要求边缘设备上的本地更新应精心设计和压缩以匹配可用的无线通信资源,并应与接收器协同工作。因此,我们针对此类设置提出了基于SGD的带限坐标下降算法。具体而言,对于采用空中计算的无线边缘,接收机在每次迭代中选择跨边缘设备的梯度更新的k坐标的公共子集,然后在k个子载波上同时进行传输,每个都遇到时变信道条件。我们根据所产生的梯度偏差和均方误差来表征通信误差和压缩对所提出算法的收敛性的影响。然后,我们通过联合优化功率分配和学习率来研究学习驱动的通信错误最小化。我们的发现表明,跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件,从而推广了广泛使用的注水策略。我们还开发了适合实施的次优分布式解决方案。然后,我们通过联合优化功率分配和学习率来研究学习驱动的通信错误最小化。我们的发现表明,跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件,从而推广了广泛使用的注水策略。我们还开发了适合实施的次优分布式解决方案。然后,我们通过联合优化功率分配和学习率来研究学习驱动的通信错误最小化。我们的发现表明,跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件,从而推广了广泛使用的注水策略。我们还开发了适合实施的次优分布式解决方案。
更新日期:2021-02-17
中文翻译:
无线网络上的联合学习:带限协作下降法
我们考虑了在网络边缘进行联合学习的多对一无线体系结构,其中多个边缘设备使用本地数据协作训练模型。无线连接的不可靠本质,以及边缘设备上计算资源的限制,要求边缘设备上的本地更新应精心设计和压缩以匹配可用的无线通信资源,并应与接收器协同工作。因此,我们针对此类设置提出了基于SGD的带限坐标下降算法。具体而言,对于采用空中计算的无线边缘,接收机在每次迭代中选择跨边缘设备的梯度更新的k坐标的公共子集,然后在k个子载波上同时进行传输,每个都遇到时变信道条件。我们根据所产生的梯度偏差和均方误差来表征通信误差和压缩对所提出算法的收敛性的影响。然后,我们通过联合优化功率分配和学习率来研究学习驱动的通信错误最小化。我们的发现表明,跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件,从而推广了广泛使用的注水策略。我们还开发了适合实施的次优分布式解决方案。然后,我们通过联合优化功率分配和学习率来研究学习驱动的通信错误最小化。我们的发现表明,跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件,从而推广了广泛使用的注水策略。我们还开发了适合实施的次优分布式解决方案。然后,我们通过联合优化功率分配和学习率来研究学习驱动的通信错误最小化。我们的发现表明,跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件,从而推广了广泛使用的注水策略。我们还开发了适合实施的次优分布式解决方案。