Due to the big size of data and limited data storage volume of a single computer or a single server, data are often stored in a distributed manner. Thus, performing large-scale machine learning operations with the distributed datasets through communication networks is often required. In this paper, we study the convergence rate of the distributed dual coordinate ascent for distributed machine learning problems in a general tree-structured network. Since a tree network model can be understood as the generalization of a star network, our algorithm can be thought of as the generalization of the distributed dual coordinate ascent in a star network. We provide the convergence rate of the distributed dual coordinate ascent over a general tree network in a recursive manner and analyze the network effect on the convergence rate. Secondly, by considering network communication delays, we optimize the distributed dual coordinate ascent algorithm to maximize its convergence speed. From our analytical result, we can choose the optimal number of local iterations depending on the communication delay severity to achieve the fastest convergence speed. In numerical experiments, we consider machine learning scenarios over communication networks, where local workers cannot directly reach to a central node due to constraints in communication, and demonstrate that the usability of our distributed dual coordinate ascent algorithm in tree networks.

中文翻译：

---

一般树网络中的分布式双坐标上升和通信网络对同步机器学习的影响

由于数据量大，单台计算机或单台服务器的数据存储量有限，数据往往采用分布式存储。因此，通常需要通过通信网络对分布式数据集执行大规模机器学习操作。在本文中，我们研究了分布式双坐标上升在一般树结构网络中分布式机器学习问题的收敛速度。由于树型网络模型可以理解为星型网络的泛化，我们的算法可以认为是星型网络中分布式双坐标上升的泛化。我们以递归方式提供分布式双坐标上升在一般树网络上的收敛速度，并分析网络对收敛速度的影响。第二，通过考虑网络通信延迟，我们优化分布式双坐标上升算法以最大化其收敛速度。从我们的分析结果中，我们可以根据通信延迟严重程度选择最优的局部迭代次数，以实现最快的收敛速度。在数值实验中，我们考虑了通信网络上的机器学习场景，其中本地工作人员由于通信限制而无法直接到达中心节点，并证明了我们的分布式双坐标上升算法在树网络中的可用性。我们可以根据通信延迟的严重程度选择最优的局部迭代次数，以达到最快的收敛速度。在数值实验中，我们考虑了通信网络上的机器学习场景，其中本地工作人员由于通信限制而无法直接到达中心节点，并证明了我们的分布式双坐标上升算法在树网络中的可用性。我们可以根据通信延迟的严重程度选择最优的局部迭代次数，以达到最快的收敛速度。在数值实验中，我们考虑了通信网络上的机器学习场景，其中本地工作人员由于通信限制而无法直接到达中心节点，并证明了我们的分布式双坐标上升算法在树网络中的可用性。