ABSTRACT In multivariate regression models, a sparse singular value decomposition of the regression component matrix is appealing for reducing dimensionality and facilitating interpretation. However, the recovery of such a decomposition remains very challenging, largely due to the simultaneous presence of orthogonality constraints and co-sparsity regularization. By delving into the underlying statistical data-generation mechanism, we reformulate the problem as a supervised co-sparse factor analysis, and develop an efficient computational procedure, named sequential factor extraction via co-sparse unit-rank estimation (SeCURE), that completely bypasses the orthogonality requirements. At each step, the problem reduces to a sparse multivariate regression with a unit-rank constraint. Nicely, each sequentially extracted sparse and unit-rank coefficient matrix automatically leads to co-sparsity in its pair of singular vectors. Each latent factor is thus a sparse linear combination of the predictors and may influence only a subset of responses. The proposed algorithm is guaranteed to converge, and it ensures efficient computation even with incomplete data and/or when enforcing exact orthogonality is desired. Our estimators enjoy the oracle properties asymptotically; a non-asymptotic error bound further reveals some interesting finite-sample behaviors of the estimators. The efficacy of SeCURE is demonstrated by simulation studies and two applications in genetics. Supplementary materials for this article are available online.

中文翻译：

---

序贯协稀疏因子回归

摘要在多元回归模型中，回归分量矩阵的稀疏奇异值分解对于降低维数和促进解释很有吸引力。然而，这种分解的恢复仍然非常具有挑战性，主要是由于同时存在正交性约束和协同稀疏正则化。通过深入研究底层的统计数据生成机制，我们将问题重新表述为有监督的协同稀疏因子分析，并开发了一种有效的计算程序，称为通过协同稀疏单位秩估计（Secure）的顺序因子提取，完全绕过正交性要求。在每一步，问题都简化为具有单位秩约束的稀疏多元回归。不错，每个顺序提取的稀疏和单位秩系数矩阵自动导致其一对奇异向量中的协同稀疏。因此，每个潜在因素都是预测变量的稀疏线性组合，并且可能仅影响响应的一个子集。所提出的算法保证收敛，即使数据不完整和/或需要强制执行精确正交性，它也能确保有效计算。我们的估算器渐近地享受预言机的特性；非渐近误差界进一步揭示了估计量的一些有趣的有限样本行为。模拟研究和遗传学中的两个应用证明了 SeCURE 的功效。本文的补充材料可在线获取。因此，每个潜在因素都是预测变量的稀疏线性组合，并且可能仅影响响应的一个子集。所提出的算法保证收敛，即使数据不完整和/或需要强制执行精确正交性，它也能确保有效计算。我们的估算器渐近地享受预言机的特性；非渐近误差界进一步揭示了估计量的一些有趣的有限样本行为。模拟研究和遗传学中的两个应用证明了 SeCURE 的功效。本文的补充材料可在线获取。因此，每个潜在因素都是预测变量的稀疏线性组合，并且可能仅影响响应的一个子集。所提出的算法保证收敛，即使数据不完整和/或需要强制执行精确正交性，它也能确保有效计算。我们的估算器渐近地享受预言机的特性；非渐近误差界进一步揭示了估计量的一些有趣的有限样本行为。模拟研究和遗传学中的两个应用证明了 SeCURE 的功效。本文的补充材料可在线获取。我们的估算器渐近地享受预言机的特性；非渐近误差界进一步揭示了估计量的一些有趣的有限样本行为。模拟研究和遗传学中的两个应用证明了 SeCURE 的功效。本文的补充材料可在线获取。我们的估算器渐近地享受预言机的特性；非渐近误差界进一步揭示了估计量的一些有趣的有限样本行为。模拟研究和遗传学中的两个应用证明了 SeCURE 的功效。本文的补充材料可在线获取。