Neural architecture search (NAS) is a promising method for automatically design neural architectures. NAS adopts a search strategy to explore the predefined search space to find outstanding performance architecture with the minimum searching costs. Bayesian optimization and evolutionary algorithms are two commonly used search strategies, but they suffer from computationally expensive, challenge to implement or inefficient exploration ability. In this paper, we propose a neural predictor guided evolutionary algorithm to enhance the exploration ability of EA for NAS (NPENAS) and design two kinds of neural predictors. The first predictor is defined from Bayesian optimization and we propose a graph-based uncertainty estimation network as a surrogate model that is easy to implement and computationally efficient. The second predictor is a graph-based neural network that directly outputs the performance prediction of the input neural architecture. The NPENAS using the two neural predictors are denoted as NPENAS-BO and NPENAS-NP respectively. In addition, we introduce a new random architecture sampling method to overcome the drawbacks of the existing sampling method. Extensive experiments demonstrate the superiority of NPENAS. Quantitative results on three NAS search spaces indicate that both NPENAS-BO and NPENAS-NP outperform most existing NAS algorithms, with NPENAS-BO achieving state-of-the-art performance on NASBench-201 and NPENAS-NP on NASBench-101 and DARTS, respectively.

中文翻译：

---

NPENAS：用于神经架构搜索的神经预测器引导进化

神经架构搜索（NAS）是一种很有前途的自动设计神经架构的方法。NAS 采用搜索策略探索预定义的搜索空间，以最小的搜索成本找到性能优异的架构。贝叶斯优化和进化算法是两种常用的搜索策略，但它们存在计算成本高、难以实现或探索能力低下的问题。在本文中，我们提出了一种神经预测器引导的进化算法来增强 EA for NAS (NPENAS) 的探索能力，并设计了两种神经预测器。第一个预测器是根据贝叶斯优化定义的，我们提出了一个基于图的不确定性估计网络作为代理模型，该模型易于实现且计算效率高。第二个预测器是一个基于图的神经网络，它直接输出输入神经架构的性能预测。使用两个神经预测器的 NPENAS 分别表示为 NPENAS-BO 和 NPENAS-NP。此外，我们引入了一种新的随机架构采样方法来克服现有采样方法的缺点。大量实验证明了 NPENAS 的优越性。三个 NAS 搜索空间的定量结果表明 NPENAS-BO 和 NPENAS-NP 都优于大多数现有的 NAS 算法，NPENAS-BO 在 NASBench-201 和 NPENAS-NP 在 NASBench-101 和 DARTS 上实现了最先进的性能， 分别。使用两个神经预测器的 NPENAS 分别表示为 NPENAS-BO 和 NPENAS-NP。此外，我们引入了一种新的随机架构采样方法来克服现有采样方法的缺点。大量实验证明了 NPENAS 的优越性。三个 NAS 搜索空间的定量结果表明 NPENAS-BO 和 NPENAS-NP 都优于大多数现有的 NAS 算法，NPENAS-BO 在 NASBench-201 和 NPENAS-NP 在 NASBench-101 和 DARTS 上实现了最先进的性能， 分别。使用两个神经预测器的 NPENAS 分别表示为 NPENAS-BO 和 NPENAS-NP。此外，我们引入了一种新的随机架构采样方法来克服现有采样方法的缺点。大量实验证明了 NPENAS 的优越性。三个 NAS 搜索空间的定量结果表明 NPENAS-BO 和 NPENAS-NP 都优于大多数现有的 NAS 算法，NPENAS-BO 在 NASBench-201 和 NPENAS-NP 在 NASBench-101 和 DARTS 上实现了最先进的性能， 分别。