Embedding Convolutional Neural Network (CNN) into edge devices for inference is a very challenging task because such lightweight hardware is not born to handle this heavyweight software, which is the common overhead from the modern state-of-the-art CNN models. In this paper, targeting at reducing the overhead with trading the accuracy as less as possible, we propose a novel of Network Candidate Search (NCS), an alternative way to study the trade-off between the resource usage and the performance through grouping concepts and elimination tournament. Besides, NCS can also be generalized across any neural network. In our experiment, we collect candidate CNN models from EfficientNet-B0 to be scaled down in varied way through width, depth, input resolution and compound scaling down, applying NCS to research the scaling-down trade-off. Meanwhile, a family of extremely lightweight EfficientNet is obtained, called EfficientNet-eLite. For further embracing the CNN edge application with Application-Specific Integrated Circuit (ASIC), we adjust the architectures of EfficientNet-eLite to build the more hardware-friendly version, EfficientNet-HF. Evaluation on ImageNet dataset, both proposed EfficientNet-eLite and EfficientNet-HF present better parameter usage and accuracy than the previous start-of-the-art CNNs. Particularly, the smallest member of EfficientNet-eLite is more lightweight than the best and smallest existing MnasNet with 1.46x less parameters and 0.56% higher accuracy. Code is available at https://github.com/Ching-Chen-Wang/EfficientNet-eLite.

将卷积神经网络 (CNN) 嵌入到边缘设备中进行推理是一项非常具有挑战性的任务，因为这种轻量级硬件并不是为处理这种重量级软件而生的，这是现代最先进的 CNN 模型的常见开销。在本文中，为了通过尽可能少地交换准确性来减少开销，我们提出了一种新的网络候选搜索（NCS），这是一种通过分组概念研究资源使用和性能之间权衡的替代方法，淘汰赛。此外，NCS 还可以泛化到任何神经网络。在我们的实验中，我们从 EfficientNet-B0 收集候选 CNN 模型，以通过宽度、深度、输入分辨率和复合缩小以不同方式缩小，应用 NCS 来研究缩小权衡。同时，得到了一个极轻量级的EfficientNet族，称为EfficientNet-eLite。为了进一步将 CNN 边缘应用与专用集成电路 (ASIC) 结合起来，我们调整了 EfficientNet-eLite 的架构，以构建对硬件更友好的版本 EfficientNet-HF。对 ImageNet 数据集的评估，提出的 EfficientNet-eLite 和 EfficientNet-HF 都比以前的最先进的 CNN 提供了更好的参数使用和准确性。特别是，EfficientNet-eLite 的最小成员比现有的最好和最小的 MnasNet 更轻量级，参数少 1.46 倍，准确率高 0.56%。代码可在 https://github.com/Ching-Chen-Wang/EfficientNet-eLite 获得。为了进一步将 CNN 边缘应用与专用集成电路 (ASIC) 结合起来，我们调整了 EfficientNet-eLite 的架构，以构建对硬件更友好的版本 EfficientNet-HF。对 ImageNet 数据集的评估，提出的 EfficientNet-eLite 和 EfficientNet-HF 都比以前的最先进的 CNN 提供了更好的参数使用和准确性。特别是，EfficientNet-eLite 的最小成员比现有的最好和最小的 MnasNet 更轻量级，参数少 1.46 倍，准确率高 0.56%。代码可在 https://github.com/Ching-Chen-Wang/EfficientNet-eLite 获得。为了进一步将 CNN 边缘应用与专用集成电路 (ASIC) 结合起来，我们调整了 EfficientNet-eLite 的架构，以构建对硬件更友好的版本 EfficientNet-HF。对 ImageNet 数据集的评估，提出的 EfficientNet-eLite 和 EfficientNet-HF 都比以前的最先进的 CNN 提供了更好的参数使用和准确性。特别是，EfficientNet-eLite 的最小成员比现有的最好和最小的 MnasNet 更轻量级，参数少 1.46 倍，准确率高 0.56%。代码可在 https://github.com/Ching-Chen-Wang/EfficientNet-eLite 获得。提出的 EfficientNet-eLite 和 EfficientNet-HF 都提供了比之前最先进的 CNN 更好的参数使用和准确性。特别是，EfficientNet-eLite 的最小成员比现有的最好和最小的 MnasNet 更轻量级，参数少 1.46 倍，准确率高 0.56%。代码可在 https://github.com/Ching-Chen-Wang/EfficientNet-eLite 获得。提出的 EfficientNet-eLite 和 EfficientNet-HF 都提供了比之前最先进的 CNN 更好的参数使用和准确性。特别是，EfficientNet-eLite 的最小成员比现有的最好和最小的 MnasNet 更轻量级，参数少 1.46 倍，准确率高 0.56%。代码可在 https://github.com/Ching-Chen-Wang/EfficientNet-eLite 获得。