We consider the problem of learning incoherent sparse and low-rank patterns from multiple tasks. Our approach is based on a linear multitask learning formulation, in which the sparse and low-rank patterns are induced by a cardinality regularization term and a low-rank constraint, respectively. This formulation is nonconvex; we convert it into its convex surrogate, which can be routinely solved via semidefinite programming for small-size problems. We propose employing the general projected gradient scheme to efficiently solve such a convex surrogate; however, in the optimization formulation, the objective function is nondifferentiable and the feasible domain is nontrivial. We present the procedures for computing the projected gradient and ensuring the global convergence of the projected gradient scheme. The computation of the projected gradient involves a constrained optimization problem; we show that the optimal solution to such a problem can be obtained via solving an unconstrained optimization subproblem and a Euclidean projection subproblem. We also present two projected gradient algorithms and analyze their rates of convergence in detail. In addition, we illustrate the use of the presented projected gradient algorithms for the proposed multitask learning formulation using the least squares loss. Experimental results on a collection of real-world data sets demonstrate the effectiveness of the proposed multitask learning formulation and the efficiency of the proposed projected gradient algorithms.

中文翻译：

---

从多个任务中学习不连贯的稀疏和低秩模式

我们考虑从多个任务中学习不连贯的稀疏和低秩模式的问题。我们的方法基于线性多任务学习公式，其中稀疏和低秩模式分别由基数正则化项和低秩约束诱导。这个公式是非凸的；我们将其转换为它的凸代理，这可以通过半定规划来解决小问题。我们建议采用通用投影梯度方案来有效地解决这种凸代理；然而，在优化公式中，目标函数是不可微的，可行域是非平凡的。我们介绍了计算投影梯度和确保投影梯度方案全局收敛的程序。投影梯度的计算涉及约束优化问题；我们表明，可以通过求解无约束优化子问题和欧几里得投影子问题来获得此类问题的最优解。我们还提出了两种投影梯度算法，并详细分析了它们的收敛速度。此外，我们使用最小二乘损失说明了在提出的多任务学习公式中使用所提出的投影梯度算法。在一组真实数据集上的实验结果证明了所提出的多任务学习公式的有效性和所提出的投影梯度算法的效率。我们表明，可以通过求解无约束优化子问题和欧几里得投影子问题来获得此类问题的最优解。我们还提出了两种投影梯度算法，并详细分析了它们的收敛速度。此外，我们使用最小二乘损失说明了在提出的多任务学习公式中使用所提出的投影梯度算法。在一组真实数据集上的实验结果证明了所提出的多任务学习公式的有效性和所提出的投影梯度算法的效率。我们表明，可以通过求解无约束优化子问题和欧几里得投影子问题来获得此类问题的最优解。我们还提出了两种投影梯度算法，并详细分析了它们的收敛速度。此外，我们使用最小二乘损失说明了在提出的多任务学习公式中使用所提出的投影梯度算法。在一组真实数据集上的实验结果证明了所提出的多任务学习公式的有效性和所提出的投影梯度算法的效率。我们使用最小二乘损失说明了在提出的多任务学习公式中使用所提出的投影梯度算法。在一组真实数据集上的实验结果证明了所提出的多任务学习公式的有效性和所提出的投影梯度算法的效率。我们使用最小二乘损失说明了在提出的多任务学习公式中使用所提出的投影梯度算法。在一组真实数据集上的实验结果证明了所提出的多任务学习公式的有效性和所提出的投影梯度算法的效率。