Global optimization of a non-convex objective function often appears in large-scale machine learning and artificial intelligence applications. Recently, consensus-based optimization (CBO) methods have been introduced as one of the gradient-free optimization methods. In this paper, we provide a convergence analysis for the first-order CBO method in [J. A. Carrillo, S. Jin, L. Li and Y. Zhu, A consensus-based global optimization method for high dimensional machine learning problems, https://arxiv.org/abs/1909.09249v1 ]. Prior to this work, the convergence study was carried out for CBO methods on corresponding mean-field limit, a Fokker–Planck equation, which does not imply the convergence of the CBO method per se. Based on the consensus estimate directly on the first-order CBO model, we provide a convergence analysis of the first-order CBO method [J. A. Carrillo, S. Jin, L. Li and Y. Zhu, A consensus-based global optimization method for high dimensional machine learning problems, https://arxiv.org/abs/1909.09249v1 ] without resorting to the corresponding mean-field model. Our convergence analysis consists of two steps. In the first step, we show that the CBO model exhibits a global consensus time asymptotically for any initial data, and in the second step, we provide a sufficient condition on system parameters — which is dimension independent — and initial data which guarantee that the converged consensus state lies in a small neighborhood of the global minimum almost surely.

中文翻译：

---

基于一阶共识的全局优化算法的收敛

非凸目标函数的全局优化经常出现在大规模机器学习和人工智能应用中。最近，基于共识的优化（CBO）方法已被引入作为无梯度优化方法之一。在本文中，我们在 [JA Carrillo, S. Jin, L. Li 和 Y. Zhu, A 基于共识的高维机器学习问题的全局优化方法, https:// /arxiv.org/abs/1909.09249v1]。在这项工作之前，CBO 方法的收敛性研究是在相应的平均场极限上进行的，这是一个 Fokker-Planck 方程，这并不意味着 CBO 方法本身的收敛性。基于直接对一阶 CBO 模型的一致估计，我们提供一阶 CBO 方法的收敛性分析 [J. A. Carrillo、S. Jin、L. Li 和 Y. Zhu，一种针对高维机器学习问题的基于共识的全局优化方法，https://arxiv.org/abs/1909.09249v1 ] 无需借助相应的均值-场模型。我们的收敛分析包括两个步骤。在第一步中，我们证明了 CBO 模型对任何初始数据都呈现出渐近一致的全局时间，在第二步中，我们提供了系统参数的充分条件（与维度无关）和保证收敛的初始数据共识状态几乎肯定位于全球最小值的一个小邻域。09249v1] 无需求助于相应的平均场模型。我们的收敛分析包括两个步骤。在第一步中，我们证明了 CBO 模型对任何初始数据都呈现出渐近一致的全局时间，在第二步中，我们提供了系统参数的充分条件（与维度无关）和保证收敛的初始数据共识状态几乎肯定位于全球最小值的一个小邻域。09249v1] 无需求助于相应的平均场模型。我们的收敛分析包括两个步骤。在第一步中，我们证明了 CBO 模型对任何初始数据都呈现出渐近一致的全局时间，在第二步中，我们提供了系统参数的充分条件（与维度无关）和保证收敛的初始数据共识状态几乎肯定位于全球最小值的一个小邻域。