SIAM Journal on Optimization, Volume 31, Issue 3, Page 1797-1826, January 2021.
In this paper, through an intuitive vanilla proximal method perspective, we derive a concise unified acceleration framework (UAF) for minimizing a convex function that has Hölder continuous derivatives with respect to general (non-Euclidean) norms. The UAF reconciles two different high-order acceleration approaches, one by Nesterov [Math. Program., 112 (2008), pp. 159--181] and one by Monteiro and Svaiter [SIAM J. Optim., 23 (2013), pp. 1092--1125]. As a result, the UAF unifies the high-order acceleration instances of the two approaches by only two problem-related parameters and two additional parameters for framework design. Meanwhile, the UAF (and its analysis) is the first approach to make high-order methods applicable for high-order smoothness conditions with respect to non-Euclidean norms. Furthermore, the UAF is the first approach that can match the existing lower bound of iteration complexity for minimizing a convex function with Hölder continuous derivatives. For practical implementation, we introduce a new and effective heuristic that significantly simplifies the binary search procedure required by the framework. We use experiments on logistic regression to verify the effectiveness of the heuristic. Finally, the UAF is proposed directly in the general composite convex setting and shows that the existing high-order algorithms can be naturally extended to the general composite convex setting.

中文翻译：

---

一般Hölder连续性下高阶算法的统一加速

SIAM 优化杂志，第 31 卷，第 3 期，第 1797-1826 页，2021 年 1 月。
在本文中，通过直观的香草近端方法的角度，我们推导出了一个简洁的统一加速框架（UAF），用于最小化具有 Hölder 连续导数关于一般（非欧几里得）范数的凸函数。UAF 调和了两种不同的高阶加速方法，一种是 Nesterov [Math. Program., 112 (2008), pp. 159--181] 和 Monteiro 和 Svaiter 的一篇 [SIAM J. Optim., 23 (2013), pp. 1092--1125]。因此，UAF 仅通过两个与问题相关的参数和两个额外的框架设计参数来统一这两种方法的高阶加速实例。同时，UAF（及其分析）是第一种使高阶方法适用于非欧几里得范数的高阶平滑条件的方法。此外，UAF 是第一种可以匹配现有迭代复杂度下限的方法，以最小化具有 Hölder 连续导数的凸函数。对于实际实现，我们引入了一种新的有效的启发式方法，它显着简化了框架所需的二进制搜索过程。我们使用逻辑回归实验来验证启发式的有效性。最后，直接在一般复合凸设置中提出了UAF，表明现有的高阶算法可以自然地扩展到一般复合凸设置。我们引入了一种新的有效的启发式方法，它显着简化了框架所需的二分搜索过程。我们使用逻辑回归实验来验证启发式的有效性。最后，直接在一般复合凸设置中提出了UAF，表明现有的高阶算法可以自然地扩展到一般复合凸设置。我们引入了一种新的有效的启发式方法，它显着简化了框架所需的二分搜索过程。我们使用逻辑回归实验来验证启发式的有效性。最后，直接在一般复合凸设置中提出了UAF，表明现有的高阶算法可以自然地扩展到一般复合凸设置。