We consider parallel global optimization of derivative-free expensive-to-evaluate functions, and propose an efficient method based on stochastic approximation for implementing a conceptual Bayesian optimization algorithm proposed by Ginsbourger et al. (2007). At the heart of this algorithm is maximizing the information criterion called the "multi-points expected improvement'', or the q-EI. To accomplish this, we use infinitessimal perturbation analysis (IPA) to construct a stochastic gradient estimator and show that this estimator is unbiased. We also show that the stochastic gradient ascent algorithm using the constructed gradient estimator converges to a stationary point of the q-EI surface, and therefore, as the number of multiple starts of the gradient ascent algorithm and the number of steps for each start grow large, the one-step Bayes optimal set of points is recovered. We show in numerical experiments that our method for maximizing the q-EI is faster than methods based on closed-form evaluation using high-dimensional integration, when considering many parallel function evaluations, and is comparable in speed when considering few. We also show that the resulting one-step Bayes optimal algorithm for parallel global optimization finds high-quality solutions with fewer evaluations than a heuristic based on approximately maximizing the q-EI. A high-quality open source implementation of this algorithm is available in the open source Metrics Optimization Engine (MOE).

中文翻译：

---

昂贵函数的并行贝叶斯全局优化

我们考虑了无导数的无代价函数的并行全局优化，并提出了一种基于随机逼近的有效方法来实现由Ginsbourger等人提出的概念性贝叶斯优化算法。（2007）。该算法的核心是最大化称为“多点期望改进”或q-EI的信息准则，为此，我们使用无穷小扰动分析（IPA）构造了一个随机梯度估计器，并证明了这一点。我们还表明，使用构造的梯度估计器的随机梯度上升算法收敛到q-EI表面的固定点，因此，随着梯度上升算法的多次启动次数和每次开始变大，恢复了一步式贝叶斯最佳点集。我们在数值实验中表明，当考虑许多并行函数评估时，我们使q-EI最大化的方法比基于使用高维积分的闭式评估的方法要快，而在考虑较少的并行函数评估时，其速度可比。我们还表明，所得结果用于并行全局优化的一步式贝叶斯最优算法可以找到比基于近似最大化q-EI的启发式方法更少评估的高质量解决方案。开源度量优化引擎（MOE）中提供了此算法的高质量开源实现。我们在数值实验中表明，当考虑许多并行函数评估时，我们使q-EI最大化的方法比基于使用高维积分的闭式评估的方法要快，而在考虑较少的并行函数评估时，其速度可比。我们还表明，所得结果用于并行全局优化的一步式贝叶斯最优算法可以找到比基于近似最大化q-EI的启发式方法更少评估的高质量解决方案。开源度量优化引擎（MOE）中提供了此算法的高质量开源实现。我们在数值实验中表明，当考虑许多并行函数评估时，我们使q-EI最大化的方法比基于使用高维积分的闭式评估的方法要快，而在考虑较少的并行函数评估时，其速度可比。我们还表明，所得结果用于并行全局优化的一步式贝叶斯最优算法可以找到比基于近似最大化q-EI的启发式方法更少评估的高质量解决方案。开源度量优化引擎（MOE）中提供了此算法的高质量开源实现。我们还表明，所得结果用于并行全局优化的一步式贝叶斯最优算法可以找到比基于近似最大化q-EI的启发式方法更少评估的高质量解决方案。开源度量优化引擎（MOE）中提供了此算法的高质量开源实现。我们还表明，所得结果用于并行全局优化的一步式贝叶斯最优算法可以找到比基于近似最大化q-EI的启发式方法更少评估的高质量解决方案。开源度量优化引擎（MOE）中提供了此算法的高质量开源实现。