Optimistic Gradient Descent Ascent (OGDA) and Optimistic Multiplicative Weights Update (OMWU) for saddle-point optimization have received growing attention due to their favorable last-iterate convergence. However, their behaviors for simple bilinear games over the probability simplex are still not fully understood -- previous analysis lacks explicit convergence rates, only applies to an exponentially small learning rate, or requires additional assumptions such as the uniqueness of the optimal solution. In this work, we significantly expand the understanding of last-iterate convergence for OGDA and OMWU in the constrained setting. Specifically, for OMWU in bilinear games over the simplex, we show that when the equilibrium is unique, linear last-iterate convergence is achievable with a constant learning rate, which improves the result of (Daskalakis & Panageas, 2019) under the same assumption. We then significantly extend the results to more general objectives and feasible sets for the projected OGDA algorithm, by introducing a sufficient condition under which OGDA exhibits concrete last-iterate convergence rates with a constant learning rate. We show that bilinear games over any polytope satisfy this condition and OGDA converges exponentially fast even without the unique equilibrium assumption. Our condition also holds for strongly-convex-strongly-concave functions, recovering the result of (Hsieh et al., 2019). Finally, we provide experimental results to further support our theory.

中文翻译：

---

约束鞍点优化中的线性最后迭代收敛

用于鞍点优化的乐观梯度下降上升 (OGDA) 和乐观乘法权重更新 (OMWU) 因其有利的最后迭代收敛性而受到越来越多的关注。然而，他们在概率单纯形上的简单双线性博弈的行为仍然没有被完全理解——之前的分析缺乏明确的收敛率，只适用于指数级小的学习率，或者需要额外的假设，比如最优解的唯一性。在这项工作中，我们显着扩展了对 OGDA 和 OMWU 在约束设置中的最后迭代收敛的理解。具体来说，对于单纯形双线性博弈中的 OMWU，我们表明当均衡是唯一的时，线性最后迭代收敛是可以通过恒定学习率实现的，在相同的假设下改进了 (Daskalakis & Panageas, 2019) 的结果。然后，我们通过引入一个充分条件，使 OGDA 展示出具有恒定学习率的具体的最后迭代收敛率，从而将结果显着扩展到更一般的目标和可行的集合。我们表明，任何多胞体上的双线性博弈都满足这个条件，即使没有独特的均衡假设，OGDA 也能以指数方式快速收敛。我们的条件也适用于强凸强凹函数，恢复了 (Hsieh et al., 2019) 的结果。最后，我们提供了实验结果来进一步支持我们的理论。然后，我们通过引入一个充分条件，使 OGDA 展示出具有恒定学习率的具体的最后迭代收敛率，从而将结果显着扩展到更一般的目标和可行的集合。我们表明，任何多胞体上的双线性博弈都满足这个条件，即使没有独特的均衡假设，OGDA 也能以指数方式快速收敛。我们的条件也适用于强凸强凹函数，恢复了 (Hsieh et al., 2019) 的结果。最后，我们提供了实验结果来进一步支持我们的理论。然后，我们通过引入一个充分条件，使 OGDA 展示出具有恒定学习率的具体的最后迭代收敛率，从而将结果显着扩展到更一般的目标和可行的集合。我们表明，任何多胞体上的双线性博弈都满足这个条件，即使没有独特的均衡假设，OGDA 也能以指数方式快速收敛。我们的条件也适用于强凸强凹函数，恢复了 (Hsieh et al., 2019) 的结果。最后，我们提供了实验结果来进一步支持我们的理论。我们表明，任何多胞体上的双线性博弈都满足这个条件，即使没有独特的均衡假设，OGDA 也能以指数方式快速收敛。我们的条件也适用于强凸强凹函数，恢复了 (Hsieh et al., 2019) 的结果。最后，我们提供了实验结果来进一步支持我们的理论。我们表明，任何多胞体上的双线性博弈都满足这个条件，即使没有独特的均衡假设，OGDA 也能以指数方式快速收敛。我们的条件也适用于强凸强凹函数，恢复了 (Hsieh et al., 2019) 的结果。最后，我们提供了实验结果来进一步支持我们的理论。