当前位置:
X-MOL 学术
›
arXiv.cs.DC
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Distributed Saddle-Point Problems Under Similarity
arXiv - CS - Distributed, Parallel, and Cluster Computing Pub Date : 2021-07-22 , DOI: arxiv-2107.10706 Aleksandr Beznosikov, Gesualdo Scutari, Alexander Rogozin, Alexander Gasnikov
arXiv - CS - Distributed, Parallel, and Cluster Computing Pub Date : 2021-07-22 , DOI: arxiv-2107.10706 Aleksandr Beznosikov, Gesualdo Scutari, Alexander Rogozin, Alexander Gasnikov
We study solution methods for (strongly-)convex-(strongly)-concave
Saddle-Point Problems (SPPs) over networks of two type - master/workers (thus
centralized) architectures and meshed (thus decentralized) networks. The local
functions at each node are assumed to be similar, due to statistical data
similarity or otherwise. We establish lower complexity bounds for a fairly
general class of algorithms solving the SPP. We show that a given suboptimality
$\epsilon>0$ is achieved over master/workers networks in
$\Omega\big(\Delta\cdot \delta/\mu\cdot \log (1/\varepsilon)\big)$ rounds of
communications, where $\delta>0$ measures the degree of similarity of the local
functions, $\mu$ is their strong convexity constant, and $\Delta$ is the
diameter of the network. The lower communication complexity bound over meshed
networks reads $\Omega\big(1/{\sqrt{\rho}} \cdot {\delta}/{\mu}\cdot\log
(1/\varepsilon)\big)$, where $\rho$ is the (normalized) eigengap of the gossip
matrix used for the communication between neighbouring nodes. We then propose
algorithms matching the lower bounds over either types of networks (up to
log-factors). We assess the effectiveness of the proposed algorithms on a
robust logistic regression problem.
中文翻译:
相似下的分布式鞍点问题
我们研究了两种类型网络上的(强)凸(强)凹鞍点问题(SPP)的解决方法 - 主/工人(因此是集中式)架构和网状(因此是分散式)网络。由于统计数据的相似性或其他原因,假设每个节点的局部函数是相似的。我们为解决 SPP 的一类相当通用的算法建立了较低的复杂度界限。我们表明在 $\Omega\big(\Delta\cdot\delta/\mu\cdot\log (1/\varepsilon)\big)$ 轮次中的主/工作网络上实现了给定的次优性 $\epsilon>0$在通信中,$\delta>0$ 衡量局部函数的相似程度,$\mu$ 是它们的强凸性常数,$\Delta$ 是网络的直径。网格网络上的较低通信复杂度边界为 $\Omega\big(1/{\sqrt{\rho}} \cdot {\delta}/{\mu}\cdot\log (1/\varepsilon)\big)$ ,其中 $\rho$ 是用于相邻节点之间通信的八卦矩阵的(归一化)特征值。然后,我们提出了匹配任一类型网络下界的算法(最多对数因子)。我们评估了所提出算法在鲁棒逻辑回归问题上的有效性。
更新日期:2021-07-23
中文翻译:
相似下的分布式鞍点问题
我们研究了两种类型网络上的(强)凸(强)凹鞍点问题(SPP)的解决方法 - 主/工人(因此是集中式)架构和网状(因此是分散式)网络。由于统计数据的相似性或其他原因,假设每个节点的局部函数是相似的。我们为解决 SPP 的一类相当通用的算法建立了较低的复杂度界限。我们表明在 $\Omega\big(\Delta\cdot\delta/\mu\cdot\log (1/\varepsilon)\big)$ 轮次中的主/工作网络上实现了给定的次优性 $\epsilon>0$在通信中,$\delta>0$ 衡量局部函数的相似程度,$\mu$ 是它们的强凸性常数,$\Delta$ 是网络的直径。网格网络上的较低通信复杂度边界为 $\Omega\big(1/{\sqrt{\rho}} \cdot {\delta}/{\mu}\cdot\log (1/\varepsilon)\big)$ ,其中 $\rho$ 是用于相邻节点之间通信的八卦矩阵的(归一化)特征值。然后,我们提出了匹配任一类型网络下界的算法(最多对数因子)。我们评估了所提出算法在鲁棒逻辑回归问题上的有效性。