Abstract Newton’s method is usually preferred when solving optimization problems due to its superior convergence properties compared to gradient-based or derivative-free optimization algorithms. However, deriving and computing second-order derivatives needed by Newton’s method often is not trivial and, in some cases, not possible. In such cases quasi-Newton algorithms are a great alternative. In this paper, we provide a new derivation of well-known quasi-Newton formulas in an infinite-dimensional Hilbert space setting. It is known that quasi-Newton update formulas are solutions to certain variational problems over the space of symmetric matrices. In this paper, we formulate similar variational problems over the space of bounded symmetric operators in Hilbert spaces. By changing the constraints of the variational problem we obtain updates (for the Hessian and Hessian inverse) not only for the Broyden-Fletcher-Goldfarb-Shanno (BFGS) quasi-Newton method but also for Davidon–Fletcher–Powell (DFP), Symmetric Rank One (SR1), and Powell-Symmetric-Broyden (PSB). In addition, for an inverse problem governed by a partial differential equation (PDE), we derive DFP and BFGS “structured” secant formulas that explicitly use the derivative of the regularization and only approximates the second derivative of the misfit term. We show numerical results that demonstrate the desired mesh-independence property and superior performance of the resulting quasi-Newton methods.

中文翻译：

---

函数空间优化拟牛顿公式的推导

摘要 与基于梯度或无导数的优化算法相比，牛顿法在求解优化问题时具有优越的收敛性，因此通常是首选。然而，牛顿方法所需的二阶导数的推导和计算通常不是微不足道的，在某些情况下，是不可能的。在这种情况下，准牛顿算法是一个很好的选择。在本文中，我们在无限维希尔伯特空间设置中提供了众所周知的拟牛顿公式的新推导。众所周知，拟牛顿更新公式是对称矩阵空间上某些变分问题的解。在本文中，我们在希尔伯特空间中的有界对称算子空间上制定了类似的变分问题。通过改变变分问题的约束，我们不仅获得了 Broyden-Fletcher-Goldfarb-Shanno (BFGS) 拟牛顿方法的更新（对于 Hessian 和 Hessian 逆），而且还获得了 Davidon-Fletcher-Powell（DFP）、对称排名第一 (SR1) 和鲍威尔对称布罗伊登 (PSB)。此外，对于由偏微分方程 (PDE) 控制的逆问题，我们推导出 DFP 和 BFGS“结构化”割线公式，这些公式明确使用正则化的导数，并且仅近似于失配项的二阶导数。我们展示的数值结果证明了所需的网格独立性和由此产生的拟牛顿方法的优越性能。对称秩一 (SR1) 和鲍威尔对称布罗伊登 (PSB)。此外，对于由偏微分方程 (PDE) 控制的逆问题，我们推导出 DFP 和 BFGS“结构化”割线公式，这些公式明确使用正则化的导数，并且仅近似于失配项的二阶导数。我们展示的数值结果证明了所需的网格独立性和由此产生的拟牛顿方法的优越性能。对称秩一 (SR1) 和鲍威尔对称布罗伊登 (PSB)。此外，对于由偏微分方程 (PDE) 控制的逆问题，我们推导出 DFP 和 BFGS“结构化”割线公式，这些公式明确使用正则化的导数，并且仅近似于失配项的二阶导数。我们展示的数值结果证明了所需的网格独立性和由此产生的拟牛顿方法的优越性能。