SIAM Journal on Matrix Analysis and Applications, Volume 42, Issue 2, Page 859-882, January 2021.
This paper studies the problem of maximizing the sum of traces of matrix quadratic forms on a product of Stiefel manifolds. This orthogonal trace-sum maximization (OTSM) problem generalizes many interesting problems such as generalized canonical correlation analysis (CCA), Procrustes analysis, and cryo-electron microscopy of the Nobel prize fame. For these applications finding global solutions is highly desirable, but it has been unclear how to find even a stationary point, let alone test its global optimality. Through a close inspection of Ky Fan's classical result [Proc. Natl. Acad. Sci. USA, 35 (1949), pp. 652--655] on the variational formulation of the sum of largest eigenvalues of a symmetric matrix, and a semidefinite programming (SDP) relaxation of the latter, we first provide a simple method to certify global optimality of a given stationary point of OTSM. This method only requires testing whether a symmetric matrix is positive semidefinite. A by-product of this analysis is an unexpected strong duality between Shapiro and Botha [SIAM J. Matrix Anal. Appl., 9 (1988), pp. 378--383] and Zhang and Singer [Linear Algebra Appl., 524 (2017), pp. 159--181]. After showing that a popular algorithm for generalized CCA and Procrustes analysis may generate oscillating iterates, we propose a simple fix that provably guarantees convergence to a stationary point. The combination of our algorithm and certificate reveals novel global optima of various instances of OTSM.

中文翻译：

---

正交迹和最大化：应用、局部算法和全局最优

SIAM 矩阵分析与应用杂志，第 42 卷，第 2 期，第 859-882 页，2021 年 1 月。
本文研究了在 Stiefel 流形的乘积上最大化矩阵二次型的迹之和的问题。这个正交迹和最大化 (OTSM) 问题概括了许多有趣的问题，例如广义典型相关分析 (CCA)、Procrustes 分析和诺贝尔奖成名的冷冻电子显微镜。对于这些应用，寻找全局解是非常可取的，但目前还不清楚如何找到静止点，更不用说测试其全局最优性了。通过仔细检查 Ky Fan 的经典结果 [Proc. 国家队 阿卡德。科学。USA, 35 (1949), pp. 652--655] 关于对称矩阵的最大特征值之和的变分公式，以及后者的半定规划 (SDP) 松弛，我们首先提供了一种简单的方法来证明 OTSM 给定驻点的全局最优性。这种方法只需要检验一个对称矩阵是否是半正定的。这种分析的一个副产品是 Shapiro 和 Botha 之间出人意料的强二元性 [SIAM J. Matrix Anal。Appl., 9 (1988), pp. 378--383] 和 Zhang and Singer [Linear Algebra Appl., 524 (2017), pp. 159--181]。在表明用于广义 CCA 和 Procrustes 分析的流行算法可能会产生振荡迭代之后，我们提出了一个简单的修复方法，可证明可以保证收敛到静止点。我们的算法和证书的组合揭示了 OTSM 各种实例的新颖全局优化。这种分析的一个副产品是 Shapiro 和 Botha 之间出人意料的强二元性 [SIAM J. Matrix Anal。Appl., 9 (1988), pp. 378--383] 和 Zhang and Singer [Linear Algebra Appl., 524 (2017), pp. 159--181]。在表明用于广义 CCA 和 Procrustes 分析的流行算法可能会产生振荡迭代之后，我们提出了一个简单的修复方法，可证明可以保证收敛到静止点。我们的算法和证书的组合揭示了 OTSM 各种实例的新颖全局优化。这种分析的一个副产品是 Shapiro 和 Botha 之间出人意料的强二元性 [SIAM J. Matrix Anal。Appl., 9 (1988), pp. 378--383] 和 Zhang and Singer [Linear Algebra Appl., 524 (2017), pp. 159--181]。在表明用于广义 CCA 和 Procrustes 分析的流行算法可能会产生振荡迭代之后，我们提出了一个简单的修复方法，可证明可以保证收敛到静止点。我们的算法和证书的组合揭示了 OTSM 各种实例的新颖全局优化。我们提出了一个简单的修复方法，可以证明可以保证收敛到一个静止点。我们的算法和证书的组合揭示了 OTSM 各种实例的新颖全局优化。我们提出了一个简单的修复方法，可以证明可以保证收敛到一个静止点。我们的算法和证书的组合揭示了 OTSM 各种实例的新颖全局优化。