当前位置:
X-MOL 学术
›
arXiv.cs.GT
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Last iterate convergence in no-regret learning: constrained min-max optimization for convex-concave landscapes
arXiv - CS - Computer Science and Game Theory Pub Date : 2020-02-17 , DOI: arxiv-2002.06768 Qi Lei and Sai Ganesh Nagarajan and Ioannis Panageas and Xiao Wang
arXiv - CS - Computer Science and Game Theory Pub Date : 2020-02-17 , DOI: arxiv-2002.06768 Qi Lei and Sai Ganesh Nagarajan and Ioannis Panageas and Xiao Wang
In a recent series of papers it has been established that variants of
Gradient Descent/Ascent and Mirror Descent exhibit last iterate convergence in
convex-concave zero-sum games. Specifically, \cite{DISZ17, LiangS18} show last
iterate convergence of the so called "Optimistic Gradient Descent/Ascent" for
the case of \textit{unconstrained} min-max optimization. Moreover, in
\cite{Metal} the authors show that Mirror Descent with an extra gradient step
displays last iterate convergence for convex-concave problems (both constrained
and unconstrained), though their algorithm does not follow the online learning
framework; it uses extra information rather than \textit{only} the history to
compute the next iteration. In this work, we show that "Optimistic
Multiplicative-Weights Update (OMWU)" which follows the no-regret online
learning framework, exhibits last iterate convergence locally for
convex-concave games, generalizing the results of \cite{DP19} where last
iterate convergence of OMWU was shown only for the \textit{bilinear case}. We
complement our results with experiments that indicate fast convergence of the
method.
中文翻译:
无悔学习中的最后迭代收敛:凸凹景观的约束最小-最大优化
在最近的一系列论文中,已经确定梯度下降/上升和镜像下降的变体在凸凹零和游戏中表现出最后迭代收敛。具体来说,\cite{DISZ17, LiangS18} 展示了 \textit{unconstrained} min-max 优化情况下所谓的“Optimistic Gradient Descent/Ascent”的最后一次迭代收敛。此外,在 \cite{Metal} 中,作者展示了具有额外梯度步骤的 Mirror Descent 显示了凸凹问题(约束和无约束)的最后迭代收敛,尽管他们的算法不遵循在线学习框架;它使用额外的信息而不是 \textit{only} 历史来计算下一次迭代。在这项工作中,我们展示了“乐观乘法权重更新(OMWU)” 它遵循无后悔在线学习框架,在局部展示了凸凹游戏的最后一次迭代收敛,概括了 \cite{DP19} 的结果,其中 OMWU 的最后一次迭代收敛仅针对 \textit{bilinear case} 显示。我们用表明该方法快速收敛的实验来补充我们的结果。
更新日期:2020-02-24
中文翻译:
无悔学习中的最后迭代收敛:凸凹景观的约束最小-最大优化
在最近的一系列论文中,已经确定梯度下降/上升和镜像下降的变体在凸凹零和游戏中表现出最后迭代收敛。具体来说,\cite{DISZ17, LiangS18} 展示了 \textit{unconstrained} min-max 优化情况下所谓的“Optimistic Gradient Descent/Ascent”的最后一次迭代收敛。此外,在 \cite{Metal} 中,作者展示了具有额外梯度步骤的 Mirror Descent 显示了凸凹问题(约束和无约束)的最后迭代收敛,尽管他们的算法不遵循在线学习框架;它使用额外的信息而不是 \textit{only} 历史来计算下一次迭代。在这项工作中,我们展示了“乐观乘法权重更新(OMWU)” 它遵循无后悔在线学习框架,在局部展示了凸凹游戏的最后一次迭代收敛,概括了 \cite{DP19} 的结果,其中 OMWU 的最后一次迭代收敛仅针对 \textit{bilinear case} 显示。我们用表明该方法快速收敛的实验来补充我们的结果。