Recently, predictor-based algorithms emerged as a promising approach for neural architecture search (NAS). For NAS, we typically have to calculate the validation accuracy of a large number of Deep Neural Networks (DNNs), what is computationally complex. Predictor-based NAS algorithms address this problem. They train a proxy model that can infer the validation accuracy of DNNs directly from their network structure. During optimization, the proxy can be used to narrow down the number of architectures for which the true validation accuracy must be computed, what makes predictor-based algorithms sample efficient. Usually, we compute the proxy for all DNNs in the network search space and pick those that maximize the proxy as candidates for optimization. However, that is intractable in practice, because the search spaces are often very large and contain billions of network architectures. The contributions of this paper are threefold: 1) We define a sample efficiency gain to compare different predictor-based NAS algorithms. 2) We conduct experiments on the NASBench-101 dataset and show that the sample efficiency of predictor-based algorithms decreases dramatically if the proxy is only computed for a subset of the search space. 3) We show that if we choose the subset of the search space on which the proxy is evaluated in a smart way, the sample efficiency of the original predictor-based algorithm that has access to the full search space can be regained. This is an important step to make predictor-based NAS algorithms useful, in practice.

中文翻译：

---

基于预测变量的神经体系结构搜索的高效采样

最近，基于预测变量的算法作为一种有前途的神经体系结构搜索（NAS）方法出现。对于NAS，我们通常必须计算大量复杂的深度神经网络（DNN）的验证准确性。基于预测器的NAS算法解决了这个问题。他们训练了一个代理模型，该模型可以直接从其网络结构推断DNN的验证准确性。在优化期间，可以使用代理来缩小必须为其计算真实验证准确性的体系结构的数量，这使基于预测变量的算法采样效率更高。通常，我们为网络搜索空间中的所有DNN计算代理，然后选择最大化代理的DNN作为优化的候选对象。但是，这在实践中很棘手，因为搜索空间通常非常大，并且包含数十亿个网络体系结构。本文的贡献有三点：1）我们定义了一个样本效率增益，以比较不同的基于预测变量的NAS算法。2）我们对NASBench-101数据集进行了实验，结果表明，如果仅针对搜索空间的一个子集计算代理，则基于预测变量的算法的采样效率会大大降低。3）我们证明了，如果我们选择智能地评估代理的搜索空间的子集，则可以重新获得可以访问整个搜索空间的基于原始预测变量的算法的采样效率。实际上，这是使基于预测变量的NAS算法有用的重要一步。1）我们定义了一个样本效率增益，以比较不同的基于预测变量的NAS算法。2）我们对NASBench-101数据集进行了实验，结果表明，如果仅针对搜索空间的一个子集计算代理，则基于预测变量的算法的采样效率会大大降低。3）我们证明了，如果我们选择智能地评估代理的搜索空间的子集，则可以重新获得可以访问整个搜索空间的基于原始预测变量的算法的采样效率。实际上，这是使基于预测变量的NAS算法有用的重要一步。1）我们定义了一个样本效率增益，以比较不同的基于预测变量的NAS算法。2）我们对NASBench-101数据集进行了实验，结果表明，如果仅针对搜索空间的一个子集计算代理，则基于预测变量的算法的采样效率会大大降低。3）我们证明了，如果我们选择智能地评估代理的搜索空间的子集，则可以重新获得可以访问整个搜索空间的基于原始预测变量的算法的采样效率。实际上，这是使基于预测变量的NAS算法有用的重要一步。2）我们对NASBench-101数据集进行了实验，结果表明，如果仅针对搜索空间的一个子集计算代理，则基于预测变量的算法的采样效率会大大降低。3）我们证明了，如果我们选择智能地评估代理的搜索空间的子集，则可以重新获得可以访问整个搜索空间的基于原始预测变量的算法的采样效率。实际上，这是使基于预测变量的NAS算法有用的重要一步。2）我们对NASBench-101数据集进行了实验，结果表明，如果仅针对搜索空间的一个子集计算代理，则基于预测变量的算法的采样效率会大大降低。3）我们证明了，如果我们选择智能地评估代理的搜索空间的子集，则可以重新获得可以访问整个搜索空间的基于原始预测变量的算法的采样效率。实际上，这是使基于预测变量的NAS算法有用的重要一步。