SIAM Journal on Scientific Computing, Volume 42, Issue 6, Page A4063-A4083, January 2020.
The standard iterative refinement procedure for improving an approximate solution to the least squares problem $\min_x\|b - Ax\|_2$, where $A\in\mathbb{R}^{m\times n}$ with $m \ge n$ has full rank, is based on solving the $(m+n)\times (m+n)$ augmented system with the aid of a QR factorization. In order to exploit multiprecision arithmetic, iterative refinement can be formulated to use three precisions, but the resulting algorithm converges only for a limited range of problems. We build an iterative refinement algorithm called GMRES-LSIR, analogous to the GMRES-IR algorithm developed for linear systems [E. Carson and N. J. Higham, SIAM J. Sci. Comput., 40 (2018), pp. A817--A847], that solves the augmented system using GMRES preconditioned by a matrix based on the computed QR factors. We explore two left preconditioners; the first has full off-diagonal blocks, and the second is block diagonal and can be applied in either left-sided or split form. We prove that for a wide range of problems the first preconditioner yields backward and forward errors for the augmented system of order the working precision under suitable assumptions on the precisions and the problem conditioning. Our proof does not extend to the block diagonal preconditioner, but our numerical experiments show that with this preconditioner the algorithm performs about as well in practice. The experiments also show that if we use MINRES in place of GMRES then the convergence is similar for sufficiently well conditioned problems but worse for the most ill conditioned ones.

中文翻译：

---

基于三精度GMRES的最小二乘迭代细化

SIAM科学计算杂志，第42卷，第6期，第A4063-A4083页，2020年1月。
用于改进最小二乘问题$ \ min_x \ | b-Ax \ | _2 $的近似解的标准迭代优化过程，其中$ A \ in \ mathbb {R} ^ {m \ times n} $与$ m \ ge n $具有充分的排名，它是基于借助QR因式分解来解决$（m + n）\乘以（m + n）$的增强系统。为了利用多精度算法，可以将迭代精炼公式化为使用三个精度，但是所得算法仅在有限范围的问题上收敛。我们建立了称为GMRES-LSIR的迭代优化算法，类似于针对线性系统开发的GMRES-IR算法。Carson和NJ Higham，SIAM J. Sci。Comput。，40（2018），pp。A817–A847]，它使用GMRES求解增强系统，该GMRES由基于所计算的QR因子的矩阵进行预处理。我们探讨了两个左前置条件；第一个是完整的非对角线块，第二个是对角线块，可以以左侧或拆分形式应用。我们证明，对于各种各样的问题，在适当的精度和问题条件假设下，第一个预处理器会为工作精度的增阶系统产生前后误差。我们的证明没有扩展到块对角线预处理器，但是我们的数值实验表明，使用这种预处理器，该算法在实践中的表现也差不多。实验还表明，如果我们使用MINRES代替GMRES，那么对于条件足够好的问题，收敛是相似的，而对于条件最差的问题，收敛会更糟。我们证明，对于各种各样的问题，在适当的精度和问题条件假设下，第一个预处理器会为工作精度的增阶系统产生前后误差。我们的证明没有扩展到块对角线预处理器，但是我们的数值实验表明，使用这种预处理器，该算法在实践中的表现也差不多。实验还表明，如果我们使用MINRES代替GMRES，那么对于条件足够好的问题，收敛是相似的，而对于条件最差的问题，收敛会更糟。我们证明，对于各种各样的问题，在适当的精度和问题条件假设下，第一个预处理器会为工作精度的增阶系统产生前后误差。我们的证明没有扩展到块对角线预处理器，但是我们的数值实验表明，使用这种预处理器，该算法在实践中的表现也差不多。实验还表明，如果我们使用MINRES代替GMRES，那么对于条件足够好的问题，收敛是相似的，而对于条件最差的问题，收敛会更糟。我们的证明没有扩展到块对角线预处理器，但是我们的数值实验表明，使用这种预处理器，该算法在实践中的表现也差不多。实验还表明，如果我们使用MINRES代替GMRES，那么对于条件足够好的问题，收敛是相似的，而对于条件最差的问题，收敛会更糟。我们的证明没有扩展到块对角线预处理器，但是我们的数值实验表明，使用这种预处理器，该算法在实践中的表现也差不多。实验还表明，如果我们使用MINRES代替GMRES，那么对于条件足够好的问题，收敛是相似的，而对于条件最差的问题，收敛会更糟。