Neural Architecture Search (NAS) is quickly becoming the standard methodology to design neural network models. However, NAS is typically compute-intensive because multiple models need to be evaluated before choosing the best one. To reduce the computational power and time needed, a proxy task is often used for evaluating each model instead of full training. In this paper, we evaluate conventional reduced-training proxies and quantify how well they preserve ranking between multiple models during search when compared with the rankings produced by final trained accuracy. We propose a series of zero-cost proxies, based on recent pruning literature, that use just a single minibatch of training data to compute a model's score. Our zero-cost proxies use 3 orders of magnitude less computation but can match and even outperform conventional proxies. For example, Spearman's rank correlation coefficient between final validation accuracy and our best zero-cost proxy on NAS-Bench-201 is 0.82, compared to 0.61 for EcoNAS (a recently proposed reduced-training proxy). Finally, we use these zero-cost proxies to enhance existing NAS search algorithms such as random search, reinforcement learning, evolutionary search and predictor-based search. For all search methodologies and across three different NAS datasets, we are able to significantly improve sample efficiency, and thereby decrease computation, by using our zero-cost proxies. For example on NAS-Bench-101, we achieved the same accuracy 4$\times$ quicker than the best previous result.

中文翻译：

---

轻量级NAS的零成本代理

神经体系结构搜索（NAS）迅速成为设计神经网络模型的标准方法。但是，NAS通常需要大量计算，因为在选择最佳模型之前，需要评估多个模型。为了减少所需的计算能力和时间，通常使用代理任务来评估每个模型，而不是进行全面训练。在本文中，我们评估了常规的简化训练代理，并量化了与最终训练的准确性所产生的排名相比，它们在搜索过程中如何保持多个模型之间的排名。我们基于最近的修剪文献提出了一系列零成本代理，这些代理仅使用单个小批量的训练数据来计算模型的得分。我们的零成本代理使用的计算量要少3个数量级，但可以匹配甚至超过传统代理。例如，在最终验证准确性和我们在NAS-Bench-201上最好的零成本代理之间的Spearman等级相关系数是0.82，而EcoNAS（最近提出的减少培训代理）为0.61。最后，我们使用这些零成本代理来增强现有的NAS搜索算法，例如随机搜索，强化学习，进化搜索和基于预测变量的搜索。对于所有搜索方法以及三个不同的NAS数据集，我们都可以使用零成本代理来显着提高样本效率，从而减少计算量。例如，在NAS-Bench-101上，我们比以前的最佳结果快了4 $ \倍$。对于EcoNAS（最近提议的减少培训的代理人）为61。最后，我们使用这些零成本代理来增强现有的NAS搜索算法，例如随机搜索，强化学习，进化搜索和基于预测变量的搜索。对于所有搜索方法以及三个不同的NAS数据集，我们都可以使用零成本代理来显着提高样本效率，从而减少计算量。例如，在NAS-Bench-101上，我们比以前的最佳结果快了4 $ \倍$。对于EcoNAS（最近提议的减少培训的代理人）为61。最后，我们使用这些零成本代理来增强现有的NAS搜索算法，例如随机搜索，强化学习，进化搜索和基于预测变量的搜索。对于所有搜索方法以及三个不同的NAS数据集，我们都可以使用零成本代理来显着提高样本效率，从而减少计算量。例如，在NAS-Bench-101上，我们比以前的最佳结果快了4 $ \倍$。通过使用零成本代理，我们能够显着提高样本效率，从而减少计算量。例如，在NAS-Bench-101上，我们比以前的最佳结果快了4 $ \倍$。通过使用零成本代理，我们能够显着提高样本效率，从而减少计算量。例如，在NAS-Bench-101上，我们比以前的最佳结果快了4 $ \倍$。