SIAM Journal on Optimization, Volume 31, Issue 3, Page 1605-1634, January 2021.
We consider a class of nonsmooth optimization problems over the Stiefel manifold, in which the objective function is weakly convex in the ambient Euclidean space. Such problems are ubiquitous in engineering applications but still largely unexplored. We present a family of Riemannian subgradient-type methods---namely Riemannian subgradient, incremental subgradient, and stochastic subgradient methods---to solve these problems and show that they all have an iteration complexity of $\mathcal{O}(\varepsilon^{-4})$ for driving a natural stationarity measure below $\varepsilon$. In addition, we establish the local linear convergence of the Riemannian subgradient and incremental subgradient methods when the problem at hand further satisfies a sharpness property and the algorithms are properly initialized and use geometrically diminishing stepsizes. To the best of our knowledge, these are the first convergence guarantees for using Riemannian subgradient-type methods to optimize a class of nonconvex nonsmooth functions over the Stiefel manifold. The fundamental ingredient in the proof of the aforementioned convergence results is a new Riemannian subgradient inequality for restrictions of weakly convex functions on the Stiefel manifold, which could be of independent interest. We also show that our convergence results can be extended to handle a class of compact embedded submanifolds of the Euclidean space. Finally, we discuss the sharpness properties of various formulations of the robust subspace recovery and orthogonal dictionary learning problems and demonstrate the convergence performance of the algorithms on both problems via numerical simulations.

中文翻译：

---

使用黎曼次梯度型方法对 Stiefel 流形进行弱凸优化

SIAM 优化杂志，第 31 卷，第 3 期，第 1605-1634 页，2021 年 1 月。
我们考虑 Stiefel 流形上的一类非光滑优化问题，其中目标函数在环境欧几里得空间中是弱凸的。这些问题在工程应用中无处不在，但在很大程度上仍未得到探索。我们提出了一系列黎曼次梯度类型的方法——即黎曼次梯度、增量次梯度和随机次梯度方法——来解决这些问题，并证明它们都具有 $\mathcal{O}(\varepsilon ^{-4})$ 用于驱动低于 $\varepsilon$ 的自然平稳性度量。此外，当手头的问题进一步满足锐度属性并且算法被正确初始化并使用几何递减步长时，我们建立了黎曼次梯度和增量次梯度方法的局部线性收敛。据我们所知，这些是使用黎曼次梯度型方法优化 Stiefel 流形上的一类非凸非光滑函数的第一个收敛保证。证明上述收敛结果的基本要素是一个新的黎曼次梯度不等式，用于限制 Stiefel 流形上的弱凸函数，这可能具有独立的意义。我们还表明，我们的收敛结果可以扩展到处理欧几里得空间的一类紧凑嵌入式子流形。最后，我们讨论了鲁棒子空间恢复和正交字典学习问题的各种公式的锐度特性，并通过数值模拟证明了算法在这两个问题上的收敛性能。这些是使用黎曼次梯度类型方法优化 Stiefel 流形上的一类非凸非光滑函数的第一个收敛保证。证明上述收敛结果的基本要素是一个新的黎曼次梯度不等式，用于限制 Stiefel 流形上的弱凸函数，这可能具有独立的意义。我们还表明，我们的收敛结果可以扩展到处理欧几里得空间的一类紧凑嵌入式子流形。最后，我们讨论了鲁棒子空间恢复和正交字典学习问题的各种公式的锐度特性，并通过数值模拟证明了算法在这两个问题上的收敛性能。这些是使用黎曼次梯度类型方法优化 Stiefel 流形上的一类非凸非光滑函数的第一个收敛保证。证明上述收敛结果的基本要素是一个新的黎曼次梯度不等式，用于限制 Stiefel 流形上的弱凸函数，这可能具有独立的意义。我们还表明，我们的收敛结果可以扩展到处理欧几里得空间的一类紧凑嵌入式子流形。最后，我们讨论了鲁棒子空间恢复和正交字典学习问题的各种公式的锐度特性，并通过数值模拟证明了算法在这两个问题上的收敛性能。