In this paper we consider large-scale smooth optimization problems with multiple linear coupled constraints. Due to the non-separability of the constraints, arbitrary random sketching would not be guaranteed to work. Thus, we first investigate necessary and sufficient conditions for the sketch sampling to have well-defined algorithms. Based on these sampling conditions we develop new sketch descent methods for solving general smooth linearly constrained problems, in particular, random sketch descent (RSD) and accelerated random sketch descent (A-RSD) methods. To our knowledge, this is the first convergence analysis of RSD algorithms for optimization problems with multiple non-separable linear constraints. For the general case, when the objective function is smooth and non-convex, we prove for the non-accelerated variant sublinear rate in expectation for an appropriate optimality measure. In the smooth convex case, we derive for both algorithms, non-accelerated and A-RSD, sublinear convergence rates in the expected values of the objective function. Additionally, if the objective function satisfies a strong convexity type condition, both algorithms converge linearly in expectation. In special cases, where complexity bounds are known for some particular sketching algorithms, such as coordinate descent methods for optimization problems with a single linear coupled constraint, our theory recovers the best known bounds. Finally, we present several numerical examples to illustrate the performances of our new algorithms.

中文翻译：

---

不可分离的线性约束优化的随机草图下降法

在本文中，我们考虑了具有多个线性耦合约束的大规模光滑优化问题。由于约束的不可分离性，因此不能保证任意随机草绘都能正常工作。因此，我们首先研究草图采样具有明确定义的算法的必要条件和充分条件。基于这些采样条件，我们开发了用于解决一般平滑线性约束问题的新草图下降方法，尤其是随机草图下降（RSD）和加速随机草图下降（A-RSD）方法。据我们所知，这是针对具有多个不可分线性约束的优化问题的RSD算法的首次收敛性分析。在一般情况下，当目标函数是光滑且非凸的时，我们证明了对于非加速变量亚线性速率的期望，可以得到适当的最优度量。在光滑凸情况下，我们针对两种算法（非加速算法和A-RSD）得出目标函数期望值中的亚线性收敛率。此外，如果目标函数满足强凸型条件，则两种算法均会线性收敛。在特殊情况下，对于某些特定的草图绘制算法，复杂度范围是已知的，例如具有单个线性耦合约束的最优化问题的坐标下降方法，我们的理论将恢复最知名的范围。最后，我们提供了几个数值示例来说明我们的新算法的性能。目标函数的期望值中的非加速和A-RSD，亚线性收敛速度。此外，如果目标函数满足强凸型条件，则两种算法均会线性收敛。在特殊情况下，对于某些特定的草图绘制算法，复杂度范围是已知的，例如具有单个线性耦合约束的最优化问题的坐标下降方法，我们的理论将恢复最知名的范围。最后，我们提供了几个数值示例来说明我们的新算法的性能。目标函数的期望值中的非加速和A-RSD，亚线性收敛速度。此外，如果目标函数满足强凸型条件，则两种算法均会线性收敛。在特殊情况下，对于某些特定的草图绘制算法，复杂度范围是已知的，例如具有单个线性耦合约束的最优化问题的坐标下降方法，我们的理论将恢复最知名的范围。最后，我们提供了几个数值示例来说明我们的新算法的性能。对于某些特定的草图绘制算法（例如针对具有单个线性耦合约束的优化问题的坐标下降方法）已知复杂度界限的情况，我们的理论将恢复最著名的界限。最后，我们提供了几个数值示例来说明我们的新算法的性能。对于某些特定的草图绘制算法（例如针对具有单个线性耦合约束的优化问题的坐标下降方法）已知复杂度界限的情况，我们的理论将恢复最著名的界限。最后，我们提供了几个数值示例来说明我们的新算法的性能。