当前位置:
X-MOL 学术
›
arXiv.cs.RO
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Learning Search Space Partition for Black-box Optimization using Monte Carlo Tree Search
arXiv - CS - Robotics Pub Date : 2020-07-01 , DOI: arxiv-2007.00708 Linnan Wang, Rodrigo Fonseca, Yuandong Tian
arXiv - CS - Robotics Pub Date : 2020-07-01 , DOI: arxiv-2007.00708 Linnan Wang, Rodrigo Fonseca, Yuandong Tian
High dimensional black-box optimization has broad applications but remains a
challenging problem to solve. Given a set of samples $\{\vx_i, y_i\}$, building
a global model (like Bayesian Optimization (BO)) suffers from the curse of
dimensionality in the high-dimensional search space, while a greedy search may
lead to sub-optimality. By recursively splitting the search space into regions
with high/low function values, recent works like LaNAS shows good performance
in Neural Architecture Search (NAS), reducing the sample complexity
empirically. In this paper, we coin LA-MCTS that extends LaNAS to other
domains. Unlike previous approaches, LA-MCTS learns the partition of the search
space using a few samples and their function values in an online fashion. While
LaNAS uses linear partition and performs uniform sampling in each region, our
LA-MCTS adopts a nonlinear decision boundary and learns a local model to pick
good candidates. If the nonlinear partition function and the local model fits
well with ground-truth black-box function, then good partitions and candidates
can be reached with much fewer samples. LA-MCTS serves as a
\emph{meta-algorithm} by using existing black-box optimizers (e.g., BO, TuRBO)
as its local models, achieving strong performance in general black-box
optimization and reinforcement learning benchmarks, in particular for
high-dimensional problems.
中文翻译:
使用蒙特卡罗树搜索学习用于黑盒优化的搜索空间划分
高维黑盒优化具有广泛的应用,但仍然是一个需要解决的具有挑战性的问题。给定一组样本$\{\vx_i, y_i\}$,构建全局模型(如贝叶斯优化(BO))在高维搜索空间中遭受维数诅咒,而贪婪搜索可能导致子- 最优性。通过递归地将搜索空间划分为具有高/低函数值的区域,LaNAS 等近期工作在神经架构搜索 (NAS) 中表现出良好的性能,从经验上降低了样本复杂度。在本文中,我们创造了将 LaNAS 扩展到其他领域的 LA-MCTS。与以前的方法不同,LA-MCTS 以在线方式使用一些样本及其函数值来学习搜索空间的划分。而 LaNAS 使用线性分区并在每个区域进行均匀采样,我们的 LA-MCTS 采用非线性决策边界并学习局部模型来挑选好的候选者。如果非线性分区函数和局部模型与真实黑盒函数很好地拟合,那么可以用更少的样本获得好的分区和候选。LA-MCTS 通过使用现有的黑盒优化器(例如 BO、TuRBO)作为其本地模型,作为 \emph {元算法},在一般黑盒优化和强化学习基准测试中取得了强大的性能,特别是对于高维问题。
更新日期:2020-07-03
中文翻译:
使用蒙特卡罗树搜索学习用于黑盒优化的搜索空间划分
高维黑盒优化具有广泛的应用,但仍然是一个需要解决的具有挑战性的问题。给定一组样本$\{\vx_i, y_i\}$,构建全局模型(如贝叶斯优化(BO))在高维搜索空间中遭受维数诅咒,而贪婪搜索可能导致子- 最优性。通过递归地将搜索空间划分为具有高/低函数值的区域,LaNAS 等近期工作在神经架构搜索 (NAS) 中表现出良好的性能,从经验上降低了样本复杂度。在本文中,我们创造了将 LaNAS 扩展到其他领域的 LA-MCTS。与以前的方法不同,LA-MCTS 以在线方式使用一些样本及其函数值来学习搜索空间的划分。而 LaNAS 使用线性分区并在每个区域进行均匀采样,我们的 LA-MCTS 采用非线性决策边界并学习局部模型来挑选好的候选者。如果非线性分区函数和局部模型与真实黑盒函数很好地拟合,那么可以用更少的样本获得好的分区和候选。LA-MCTS 通过使用现有的黑盒优化器(例如 BO、TuRBO)作为其本地模型,作为 \emph {元算法},在一般黑盒优化和强化学习基准测试中取得了强大的性能,特别是对于高维问题。