SIAM/ASA Journal on Uncertainty Quantification, Volume 9, Issue 3, Page 979-1012, January 2021.
We consider an optimal control problem (OCP) for a partial differential equation (PDE) with random coefficients. The optimal control function is a deterministic, distributed forcing term that minimizes an expected quadratic regularized loss functional. For the numerical approximation of this PDE-constrained OCP, we replace the expectation in the objective functional by a suitable quadrature formula and, eventually, discretize the PDE by a Galerkin method. To practically solve such an approximate OCP, we propose an importance sampling version the SAGA algorithm [A. Defazio, F. Bach, and S. Lacoste-Julien, Advances in Neural Information Processing Systems 27, Curran Associates, Red Hook, NY, 2014, pp. 1646--1654], a type of stochastic gradient algorithm with a fixed-length memory term, which computes at each iteration the gradient of the loss functional in only one quadrature point, randomly chosen from a possibly nonuniform distribution. We provide a full error and complexity analysis of the proposed numerical scheme. In particular we compare the complexity of the generalized SAGA algorithm with importance sampling, with that of the stochastic gradient and the conjugate gradient (CG) algorithms, applied to the same discretized OCP. We show that SAGA converges exponentially in the number of iterations as for a CG algorithm and has a similar asymptotic computational complexity, in terms of computational cost versus accuracy. Moreover, it features good preasymptotic properties, as shown by our numerical experiments, which makes it appealing in a limited budget context.

中文翻译：

---

使用 SAGA 的不确定参数的 PDE 约束最优控制问题

SIAM/ASA 不确定性量化杂志，第 9 卷，第 3 期，第 979-1012 页，2021 年 1 月。
我们考虑具有随机系数的偏微分方程 (PDE) 的最优控制问题 (OCP)。最优控制函数是一个确定性的分布式强迫项，它最小化预期的二次正则化损失函数。对于这个受 PDE 约束的 OCP 的数值近似，我们用合适的求积公式替换目标函数中的期望，并最终通过 Galerkin 方法离散化 PDE。为了实际解决这种近似的 OCP，我们提出了一个重要性采样版本的 SAGA 算法 [A. Defazio、F. Bach 和 S. Lacoste-Julien，神经信息处理系统的进展 27，Curran Associates，纽约州红钩，2014 年，第 1646--1654 页]，一种具有固定长度的随机梯度算法记忆词，它在每次迭代中仅计算一个正交点中损失函数的梯度，从可能的非均匀分布中随机选择。我们对所提出的数值方案进行了完整的误差和复杂性分析。特别地，我们将具有重要性采样的广义 SAGA 算法的复杂性与应用于相同离散化 OCP 的随机梯度和共轭梯度 (CG) 算法的复杂性进行了比较。我们表明，SAGA 与 CG 算法在迭代次数上呈指数收敛，并且在计算成本与准确性方面具有类似的渐近计算复杂度。此外，正如我们的数值实验所示，它具有良好的前渐近特性，这使其在有限的预算范围内具有吸引力。从可能的非均匀分布中随机选择。我们对所提出的数值方案进行了完整的误差和复杂性分析。特别地，我们将具有重要性采样的广义 SAGA 算法的复杂性与应用于相同离散化 OCP 的随机梯度和共轭梯度 (CG) 算法的复杂性进行了比较。我们表明，SAGA 与 CG 算法在迭代次数上呈指数收敛，并且在计算成本与准确性方面具有类似的渐近计算复杂度。此外，正如我们的数值实验所示，它具有良好的前渐近特性，这使其在有限的预算范围内具有吸引力。从可能的非均匀分布中随机选择。我们提供了所提出的数值方案的完整误差和复杂性分析。特别地，我们将具有重要性采样的广义 SAGA 算法的复杂性与应用于相同离散化 OCP 的随机梯度和共轭梯度 (CG) 算法的复杂性进行了比较。我们表明，SAGA 与 CG 算法在迭代次数上呈指数收敛，并且在计算成本与准确性方面具有类似的渐近计算复杂度。此外，正如我们的数值实验所示，它具有良好的前渐近特性，这使其在有限的预算范围内具有吸引力。特别地，我们将具有重要性采样的广义 SAGA 算法的复杂性与应用于相同离散化 OCP 的随机梯度和共轭梯度 (CG) 算法的复杂性进行了比较。我们表明，SAGA 与 CG 算法在迭代次数上呈指数收敛，并且在计算成本与准确性方面具有类似的渐近计算复杂度。此外，正如我们的数值实验所示，它具有良好的前渐近特性，这使其在有限的预算范围内具有吸引力。特别地，我们将具有重要性采样的广义 SAGA 算法的复杂性与应用于相同离散化 OCP 的随机梯度和共轭梯度 (CG) 算法的复杂性进行了比较。我们表明，SAGA 与 CG 算法在迭代次数上呈指数收敛，并且在计算成本与准确性方面具有类似的渐近计算复杂度。此外，正如我们的数值实验所示，它具有良好的前渐近特性，这使其在有限的预算范围内具有吸引力。我们表明，SAGA 与 CG 算法在迭代次数上呈指数收敛，并且在计算成本与准确性方面具有类似的渐近计算复杂度。此外，正如我们的数值实验所示，它具有良好的前渐近特性，这使其在有限的预算范围内具有吸引力。我们表明，SAGA 与 CG 算法在迭代次数上呈指数收敛，并且在计算成本与准确性方面具有类似的渐近计算复杂度。此外，正如我们的数值实验所示，它具有良好的前渐近特性，这使其在有限的预算范围内具有吸引力。