SIAM/ASA Journal on Uncertainty Quantification, Volume 8, Issue 3, Page 1061-1089, January 2020.
The uncertainty quantification for the limit of a stochastic approximation (SA) algorithm is analyzed. In our setup, this limit $\phi^{\star}$ is defined as a zero of an intractable function and is modeled as uncertain through a parameter $\theta$. We aim at deriving the function $\phi^{\star}$, as well as the probabilistic distribution of $\phi^{\star}(\theta)$ given a probability distribution $\pi$ for $\theta$. We introduce the so-called uncertainty quantification for SA (UQSA) algorithm, an SA algorithm in increasing dimension for computing the basis coefficients of a chaos expansion of $\theta \mapsto \phi^{\star}(\theta)$ on an orthogonal basis of a suitable Hilbert space. UQSA, run with a finite number of iterations $K$, returns a finite set of coefficients, providing an approximation $\widehat{\phi^{\star}_K}(\cdot)$ of $\phi^{\star}(\cdot)$. We establish the almost-sure and $L^p$-convergences in the Hilbert space of the sequence of functions $\widehat{\phi^{\star}_K}(\cdot)$ when the number of iterations $K$ tends to infinity. This is done under mild, tractable conditions, uncovered by the existing literature for convergence analysis of infinite dimensional SA algorithms. For a suitable choice of the Hilbert basis, the algorithm also provides an approximation of the expectation, of the variance-covariance matrix, and of higher order moments of the quantity $\widehat{\phi^{\star}_K}(\theta)$ when $\theta$ is random with distribution $\pi$. UQSA is illustrated and the role of its design parameters is discussed numerically.

中文翻译：

---

使用混沌扩展对随机逼近极限的不确定性量化

SIAM / ASA不确定性量化杂志，第8卷，第3期，第1061-1089页，2020年1月。
分析了随机近似（SA）算法极限的不确定性量化。在我们的设置中，此限制$ \ phi ^ {\ star} $被定义为难解函数的零，并通过参数$ \ theta $建模为不确定。我们的目标是在给定$ \ the $的概率分布$ \ pi $的情况下，导出函数$ \ phi ^ {\ star} $以及$ \ phi ^ {\ star}（\ theta）$的概率分布。我们介绍了所谓的SA不确定性量化（UQSA）算法，这是一种递增维数的SA算法，用于计算$ \ theta \ mapsto \ phi ^ {\ star}（\ theta）$的混沌展开的基本系数。合适的希尔伯特空间的正交基。以有限数量的迭代$ K $运行的UQSA返回一组有限的系数，提供$ \ phi ^ {\ star}（\ cdot）$的近似值$ \ widehat {\ phi ^ {\ star} _K}（\ cdot）$。当迭代次数为$ K $时，我们在函数$ \ widehat {\ phi ^ {\ star} _K}（\ cdot）$的希尔伯特空间的希尔伯特空间中建立几乎确定和$ L ^ p $收敛性到无穷远。这是在温和，易于处理的条件下完成的，而现有文献没有对无限维SA算法进行收敛分析。为了合适地选择希尔伯特基础，该算法还提供了期望值，方差-协方差矩阵以及数量$ \ widehat {\ phi ^ {\ star} _K}（\ theta $ \ theta $是随机分布且分布为$ \ pi $的）$。说明了UQSA，并通过数字讨论了其设计参数的作用。当迭代次数为$ K $时，我们在函数$ \ widehat {\ phi ^ {\ star} _K}（\ cdot）$的希尔伯特空间的希尔伯特空间中建立几乎确定和$ L ^ p $收敛性到无穷远。这是在温和，易于处理的条件下完成的，而现有文献没有对无限维SA算法进行收敛分析。为了合适地选择希尔伯特基础，该算法还提供了期望值，方差-协方差矩阵以及数量$ \ widehat {\ phi ^ {\ star} _K}（\ theta $ \ theta $是随机分布且分布为$ \ pi $的）$。说明了UQSA，并通过数字讨论了其设计参数的作用。当迭代次数为$ K $时，我们在函数$ \ widehat {\ phi ^ {\ star} _K}（\ cdot）$的希尔伯特空间的希尔伯特空间中建立几乎确定和$ L ^ p $收敛性到无穷远。这是在温和，易于处理的条件下完成的，而现有文献没有对无限维SA算法进行收敛分析。为了合适地选择希尔伯特基础，该算法还提供了期望值，方差-协方差矩阵以及数量$ \ widehat {\ phi ^ {\ star} _K}（\ theta $ \ theta $是随机分布且分布为$ \ pi $的）$。说明了UQSA，并通过数字讨论了其设计参数的作用。被现有文献所发现，用于无穷维SA算法的收敛性分析。为了合适地选择希尔伯特基础，该算法还提供了期望值，方差-协方差矩阵以及数量$ \ widehat {\ phi ^ {\ star} _K}（\ theta $ \ theta $是随机分布且分布为$ \ pi $的）$。说明了UQSA，并通过数字讨论了其设计参数的作用。被现有文献所发现，用于无穷维SA算法的收敛性分析。为了合适地选择希尔伯特基础，该算法还提供了期望值，方差-协方差矩阵以及数量$ \ widehat {\ phi ^ {\ star} _K}（\ theta $ \ theta $是随机分布且分布为$ \ pi $的）$。说明了UQSA，并通过数字讨论了其设计参数的作用。