当前位置: X-MOL 学术Numer. Algor. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
A note on memory-less SR1 and memory-less BFGS methods for large-scale unconstrained optimization
Numerical Algorithms ( IF 2.1 ) Pub Date : 2021-08-17 , DOI: 10.1007/s11075-021-01185-8
Neculai Andrei 1
Affiliation  

The memory-less SR1 and the memory-less BFGS methods are presented together with their numerical performances for solving a set of 800 unconstrained optimization problems with the number of variables in the range [1000, 10,000]. By memory-less quasi-Newton methods, we understand the quasi-Newton methods which are initialized by the unity matrix at every iteration. In these algorithms, the stepsize is computed by the Wolfe line search conditions. The convergence of the memory-less SR1 method is proved under the classical assumptions. Comparison between the memory-less SR1 and the memory-less BFGS method shows that memory-less BFGS is more efficient and more robust than the memory-less SR1. Comparison between memory-less SR1 and BFGS from CONMIN in implementation of Shanno and Phua shows that memory-less SR1 method is more efficient and more robust than BFGS method from CONMIN, one of the best implementation of BFGS. Additionally, comparison of memory-less SR1 and memory-less BFGS versus steepest descent shows that both these memory-less algorithms are more efficient and more robust. Performances of these algorithms for solving five applications from MINPACK-2 collection, each of them with 40,000 variables, are also presented. For solving these applications, the memory-less BFGS is more efficient than the memory-less SR1. It seems that the accuracy of the Hessian approximations along the iterations in quasi-Newton methods is not as crucial in these methods as it is believed.



中文翻译:

关于用于大规模无约束优化的无内存 SR1 和无内存 BFGS 方法的说明

无记忆 SR1 和无记忆 BFGS 方法连同它们的数值性能一起呈现,用于解决一组 800 个无约束优化问题,变量数量在 [1000, 10,000] 范围内。通过无记忆拟牛顿方法,我们理解了在每次迭代时由单位矩阵初始化的拟牛顿方法。在这些算法中,步长由 Wolfe 线搜索条件计算。在经典假设下证明了无记忆 SR1 方法的收敛性。无记忆 SR1 和无记忆 BFGS 方法之间的比较表明,无记忆 BFGS 比无记忆 SR1 更有效和更健壮。在 Shanno 和 Phua 的实现中,无记忆 SR1 和来自 CONMIN 的 BFGS 之间的比较表明,无记忆 SR1 方法比来自 CONMIN 的 BFGS 方法更有效和更健壮,这是 BFGS 的最佳实现之一。此外,无记忆 SR1 和无记忆 BFGS 与最速下降的比较表明,这两种无记忆算法都更有效、更稳健。还介绍了这些算法在解决 MINPACK-2 集合中的五个应用程序时的性能,每个应用程序都有 40,000 个变量。为了解决这些应用,无内存 BFGS 比无内存 SR1 更有效。似乎在拟牛顿方法中沿迭代的 Hessian 近似的准确性在这些方法中并不像人们认为的那样重要。BFGS 的最佳实现之一。此外,无记忆 SR1 和无记忆 BFGS 与最速下降的比较表明,这两种无记忆算法都更有效、更稳健。还介绍了这些算法的性能,用于解决来自 MINPACK-2 集合的五个应用程序,每个应用程序都有 40,000 个变量。为了解决这些应用,无内存 BFGS 比无内存 SR1 更有效。似乎在拟牛顿方法中沿迭代的 Hessian 近似的准确性在这些方法中并不像人们认为的那样重要。BFGS 的最佳实现之一。此外,无记忆 SR1 和无记忆 BFGS 与最速下降的比较表明,这两种无记忆算法都更有效、更稳健。还介绍了这些算法在解决 MINPACK-2 集合中的五个应用程序时的性能,每个应用程序都有 40,000 个变量。为了解决这些应用,无内存 BFGS 比无内存 SR1 更有效。似乎在拟牛顿方法中沿迭代的 Hessian 近似的准确性在这些方法中并不像人们认为的那样重要。还介绍了这些算法在解决 MINPACK-2 集合中的五个应用程序时的性能,每个应用程序都有 40,000 个变量。为了解决这些应用,无内存 BFGS 比无内存 SR1 更有效。似乎在拟牛顿方法中沿迭代的 Hessian 近似的准确性在这些方法中并不像人们认为的那样重要。还介绍了这些算法在解决 MINPACK-2 集合中的五个应用程序时的性能,每个应用程序都有 40,000 个变量。为了解决这些应用,无内存 BFGS 比无内存 SR1 更有效。似乎在拟牛顿方法中沿迭代的 Hessian 近似的准确性在这些方法中并不像人们认为的那样重要。

更新日期:2021-08-19
down
wechat
bug