Quasi-Newton methods are often used in the frame of non-linear optimization. In those methods, the quality and cost of the estimate of the Hessian matrix has a major influence on the efficiency of the optimization algorithm, which has a huge impact for computationally costly problems. One strategy to create a more accurate estimate of the Hessian consists in maximizing the use of available information during this computation. This is done by combining different characteristics. The Powell-Symmetric-Broyden method (PSB) imposes, for example, the satisfaction of the last secant equation, which is called secant update property, and the symmetry of the Hessian (Powell in Nonlinear Programming 31–65, 1970). Imposing the satisfaction of more secant equations should be the next step to include more information into the Hessian. However, Schnabel proved that this is impossible (Schnabel in quasi-Newton methods using multiple secant equations, 1983). Penalized PSB (pPSB), works around the impossibility by giving a symmetric Hessian and penalizing the non-satisfaction of the multiple secant equations by using weight factors (Gratton et al. in Optim Methods Softw 30(4):748–755, 2015). Doing so, he loses the secant update property. In this paper, we combine the properties of PSB and pPSB by adding to pPSB the secant update property. This gives us the secant update penalized PSB (SUpPSB). This new formula that we propose also avoids matrix inversions, which makes it easier to compute. Next to that, SUpPSB also performs globally better compared to pPSB.

中文翻译：

---

带有权重多重割方程的拟牛顿PSB的割线更新版本

拟牛顿法通常用于非线性优化框架。在这些方法中，Hessian矩阵估计的质量和成本对优化算法的效率有重大影响，这对计算代价高昂的问题具有巨大影响。创建更精确的Hessian估计的一种策略是在此计算过程中最大限度地利用可用信息。这是通过组合不同的特性来完成的。鲍威尔对称布罗登方法（PSB）施加了最后一个割线方程（称为割线更新属性）的满足和Hessian的对称性（非线性编程31–65中的鲍威尔，1970年）。要使更多的割线方程满足，应该是将更多信息包含到黑森州中的下一步。然而，Schnabel证明了这是不可能的（Schnabel在使用多重割线方程的准牛顿法中，1983年）。惩罚式PSB（pPSB）通过提供对称的Hessian并通过使用权重因子惩罚多个割线方程的不满足性来解决不可能（Gratton等人，在Optim Methods Softw 30（4）：748–755，2015） 。这样做，他将丢失割线更新属性。在本文中，我们通过将割线更新属性添加到pPSB中来结合PSB和pPSB的属性。这为我们提供了割线更新惩罚的PSB（SUpPSB）。我们提出的这个新公式还避免了矩阵求逆，从而使计算更容易。其次，与pPSB相比，SUpPSB在全球范围内的表现也更好。通过给出对​​称的Hessian并通过使用权重因子对多重割线方程的不满意程度进行惩罚来解决这种可能性（Gratton等人，在Optim Methods Softw 30（4）：748–755，2015）。这样做，他将丢失割线更新属性。在本文中，我们通过将割线更新属性添加到pPSB中来结合PSB和pPSB的属性。这为我们提供了割线更新惩罚的PSB（SUpPSB）。我们提出的这个新公式还避免了矩阵求逆，从而使计算更容易。其次，与pPSB相比，SUpPSB在全球范围内的表现也更好。通过给出对​​称的Hessian并通过使用权重因子对多重割线方程的不满意程度进行惩罚来解决这种可能性（Gratton等人，在Optim Methods Softw 30（4）：748–755，2015）。这样做，他将丢失割线更新属性。在本文中，我们通过将割线更新属性添加到pPSB中来结合PSB和pPSB的属性。这为我们提供了割线更新惩罚的PSB（SUpPSB）。我们提出的这个新公式还避免了矩阵求逆，从而使计算更容易。其次，与pPSB相比，SUpPSB在全球范围内的表现也更好。我们通过将割线更新属性添加到pPSB中来结合PSB和pPSB的属性。这为我们提供了割线更新惩罚的PSB（SUpPSB）。我们提出的这个新公式还避免了矩阵求逆，从而使计算更容易。其次，与pPSB相比，SUpPSB在全球范围内的表现也更好。通过将割线更新属性添加到pPSB中，我们结合了PSB和pPSB的属性。这为我们提供了割线更新惩罚的PSB（SUpPSB）。我们提出的这个新公式还避免了矩阵求逆，从而使计算更容易。其次，与pPSB相比，SUpPSB在全球范围内的表现也更好。