SIAM Journal on Scientific Computing, Ahead of Print.
We present PNKH-B, a projected Newton--Krylov method for iteratively solving large-scale optimization problems with bound constraints. PNKH-B is geared toward situations in which function and gradient evaluations are expensive, and the (approximate) Hessian is only available through matrix-vector products. This is commonly the case in large-scale parameter estimation, machine learning, and image processing. In each iteration, PNKH-B uses a low-rank approximation of the (approximate) Hessian to determine the search direction and construct the metric used in a projected line search. The key feature of the metric is its consistency with the low-rank approximation of the Hessian on the Krylov subspace. This renders PNKH-B similar to a projected variable metric method. We present an interior point method to solve the quadratic projection problem efficiently. Since the interior point method effectively exploits the low-rank structure, its computational cost only scales linearly with respect to the number of variables, and it only adds negligible computational time. We also experiment with variants of PNKH-B that incorporate estimates of the active set into the Hessian approximation. We prove the global convergence to a stationary point under standard assumptions. Using three numerical experiments motivated by parameter estimation, machine learning, and image reconstruction, we show that the consistent use of the Hessian metric in PNKH-B leads to fast convergence, particularly in the first few iterations. We provide our MATLAB implementation at https://github.com/EmoryMLIP/PNKH-B.

中文翻译：

---

PNKH-B：用于大规模有界约束优化的投影牛顿--克雷洛夫方法

SIAM 科学计算杂志，提前印刷。
我们提出了 PNKH-B，这是一种投影 Newton-Krylov 方法，用于迭代解决具有边界约束的大规模优化问题。PNKH-B 适用于函数和梯度评估昂贵的情况，并且（近似）Hessian 只能通过矩阵向量乘积获得。这在大规模参​​数估计、机器学习和图像处理中很常见。在每次迭代中，PNKH-B 使用（近似）Hessian 的低秩近似来确定搜索方向并构建投影线搜索中使用的度量。该度量的关键特征是它与 Krylov 子空间上 Hessian 的低秩近似的一致性。这使得 PNKH-B 类似于投影变量度量方法。我们提出了一种有效地解决二次​​投影问题的内点方法。由于内点法有效地利用了低秩结构，其计算成本仅与变量数量成线性关系，并且只增加了可以忽略不计的计算时间。我们还对 PNKH-B 的变体进行了实验，这些变体将活动集的估计纳入 Hessian 近似中。我们证明了在标准假设下全局收敛到一个固定点。使用由参数估计、机器学习和图像重建驱动的三个数值实验，我们表明在 PNKH-B 中一致使用 Hessian 度量会导致快速收敛，特别是在前几次迭代中。我们在 https://github.com/EmoryMLIP/PNKH-B 上提供了我们的 MATLAB 实现。由于内点法有效地利用了低秩结构，其计算成本仅与变量数量成线性关系，并且只增加了可以忽略不计的计算时间。我们还试验了 PNKH-B 的变体，这些变体将活动集的估计纳入 Hessian 近似中。我们证明了在标准假设下全局收敛到一个静止点。使用由参数估计、机器学习和图像重建驱动的三个数值实验，我们表明在 PNKH-B 中一致使用 Hessian 度量会导致快速收敛，特别是在前几次迭代中。我们在 https://github.com/EmoryMLIP/PNKH-B 上提供了我们的 MATLAB 实现。由于内点法有效地利用了低秩结构，其计算成本仅与变量数量成线性关系，并且只增加了可以忽略不计的计算时间。我们还试验了 PNKH-B 的变体，这些变体将活动集的估计纳入 Hessian 近似中。我们证明了在标准假设下全局收敛到一个静止点。使用由参数估计、机器学习和图像重建驱动的三个数值实验，我们表明在 PNKH-B 中一致使用 Hessian 度量会导致快速收敛，特别是在前几次迭代中。我们在 https://github.com/EmoryMLIP/PNKH-B 上提供了我们的 MATLAB 实现。它的计算成本只与变量的数量成线性关系，并且只增加了可以忽略不计的计算时间。我们还试验了 PNKH-B 的变体，这些变体将活动集的估计纳入 Hessian 近似中。我们证明了在标准假设下全局收敛到一个静止点。使用由参数估计、机器学习和图像重建驱动的三个数值实验，我们表明在 PNKH-B 中一致使用 Hessian 度量会导致快速收敛，特别是在前几次迭代中。我们在 https://github.com/EmoryMLIP/PNKH-B 上提供了我们的 MATLAB 实现。它的计算成本只与变量的数量成线性关系，并且只增加了可以忽略不计的计算时间。我们还试验了 PNKH-B 的变体，这些变体将活动集的估计纳入 Hessian 近似中。我们证明了在标准假设下全局收敛到一个静止点。使用由参数估计、机器学习和图像重建驱动的三个数值实验，我们表明在 PNKH-B 中一致使用 Hessian 度量会导致快速收敛，特别是在前几次迭代中。我们在 https://github.com/EmoryMLIP/PNKH-B 上提供了我们的 MATLAB 实现。我们证明了在标准假设下全局收敛到一个静止点。使用由参数估计、机器学习和图像重建驱动的三个数值实验，我们表明在 PNKH-B 中一致使用 Hessian 度量会导致快速收敛，特别是在前几次迭代中。我们在 https://github.com/EmoryMLIP/PNKH-B 上提供了我们的 MATLAB 实现。我们证明了在标准假设下全局收敛到一个静止点。使用由参数估计、机器学习和图像重建驱动的三个数值实验，我们表明在 PNKH-B 中一致使用 Hessian 度量会导致快速收敛，特别是在前几次迭代中。我们在 https://github.com/EmoryMLIP/PNKH-B 上提供了我们的 MATLAB 实现。