SIAM Journal on Optimization, Volume 30, Issue 4, Page 2780-2808, January 2020.
The Gradient Boosting Machine (GBM) introduced by Friedman [J. H. Friedman, Ann. Statist., 29 (2001), pp. 1189--1232] is a powerful supervised learning algorithm that is very widely used in practice---it routinely features as a leading algorithm in machine learning competitions such as Kaggle and the KDDCup. In spite of the usefulness of GBM in practice, our current theoretical understanding of this method is rather limited. In this work, we propose the Randomized Gradient Boosting Machine (RGBM), which leads to substantial computational gains compared to GBM by using a randomization scheme to reduce search in the space of weak learners. We derive novel computational guarantees for RGBM. We also provide a principled guideline towards better step-size selection in RGBM that does not require a line search. Our proposed framework is inspired by a special variant of coordinate descent that combines the benefits of randomized coordinate descent and greedy coordinate descent, and may be of independent interest as an optimization algorithm. As a special case, our results for RGBM lead to superior computational guarantees for GBM. Our computational guarantees depend upon a curious geometric quantity that we call the Minimal Cosine Angle, which relates to the density of weak learners in the prediction space. On a series of numerical experiments on real datasets, we demonstrate the effectiveness of RGBM over GBM in terms of obtaining a model with good training and/or testing data fidelity with a fraction of the computational cost.

中文翻译：

---

随机梯度提升机

SIAM优化杂志，第30卷，第4期，第2780-2808页，2020年1月。
梯度提升机（GBM）由Friedman [JH Friedman，Ann。Statist。，29（2001），pp。1189--1232]是一种功能强大的监督学习算法，在实践中得到了非常广泛的使用，它通常作为机器学习竞赛（例如Kaggle和KDDCup）中的领先算法而发挥作用。尽管GBM在实践中很有用，但是我们目前对这种方法的理论理解还是很有限的。在这项工作中，我们提出了随机梯度提升机（RGBM），与GBM相比，该算法通过使用随机化方案来减少弱学习者的搜索量，从而带来了与GBM相比可观的计算收益。我们推导出RGBM的新颖计算保证。我们还提供了一条原则性的指南，可帮助您在RGBM中更好地选择步长，而无需进行行搜索。我们提出的框架的灵感来自坐标下降的特殊变体，该变体结合了随机坐标下降和贪婪坐标下降的优点，并且可能作为优化算法具有独立的意义。作为一种特殊情况，我们对RGBM的结果为GBM带来了卓越的计算保证。我们的计算保证取决于一个称为最小余弦角的奇异几何量，该最小余弦角与预测空间中弱学习者的密度有关。在真实数据集上的一系列数值实验中，我们证明了RGBM优于GBM的有效性，即获得具有良好训练和/或测试数据保真度的模型，而计算成本只有零头。并且可能作为优化算法具有独立的意义。作为一种特殊情况，我们对RGBM的结果为GBM带来了卓越的计算保证。我们的计算保证取决于一个称为最小余弦角的奇异几何量，该最小余弦角与预测空间中弱学习者的密度有关。在真实数据集上的一系列数值实验中，我们证明了RGBM优于GBM的有效性，即获得具有良好训练和/或测试数据保真度的模型，而计算成本只有零头。并且可能作为优化算法具有独立的意义。作为一种特殊情况，我们对RGBM的结果为GBM带来了卓越的计算保证。我们的计算保证取决于一个称为最小余弦角的奇异几何量，该最小余弦角与预测空间中弱学习者的密度有关。在真实数据集上的一系列数值实验中，我们证明了RGBM优于GBM的有效性，即获得具有良好训练和/或测试数据保真度的模型，而计算成本只有零头。与预测空间中弱学习者的密度有关。在真实数据集上的一系列数值实验中，我们证明了RGBM优于GBM的有效性，即获得具有良好训练和/或测试数据保真度的模型，而计算成本只有零头。与预测空间中弱学习者的密度有关。在真实数据集上的一系列数值实验中，我们证明了RGBM优于GBM的有效性，即获得具有良好训练和/或测试数据保真度的模型，而计算成本只有零头。