Applying deep neural networks (DNNs) in mobile and safety-critical systems, such as autonomous vehicles, demands a reliable and efficient execution on hardware. The design of the neural architecture has a large influence on the achievable efficiency and bit error resilience of the network on hardware. Since there are numerous design choices for the architecture of DNNs, with partially opposing effects on the preferred characteristics (such as small error rates at low latency), multi-objective optimization strategies are necessary. In this paper, we develop an evolutionary optimization technique for the automated design of hardware-optimized DNN architectures. For this purpose, we derive a set of inexpensively computable objective functions, which enable the fast evaluation of DNN architectures with respect to their hardware efficiency and error resilience. We observe a strong correlation between predicted error resilience and actual measurements obtained from fault injection simulations. Furthermore, we analyze two different quantization schemes for efficient DNN computation and find one providing a significantly higher error resilience compared to the other. Finally, a comparison of the architectures provided by our algorithm with the popular MobileNetV2 and NASNet-A models reveals an up to seven times improved bit error resilience of our models. We are the first to combine error resilience, efficiency, and performance optimization in a neural architecture search framework.

在移动和对安全至关重要的系统（例如自动驾驶汽车）中应用深度神经网络（DNN）要求在硬件上可靠且高效地执行。神经体系结构的设计对网络在硬件上的可实现效率和误码恢复能力有很大影响。由于DNN的体系结构有多种设计选择，并且对首选特性有部分相反的影响（例如，低等待时间下的小错误率），因此需要多目标优化策略。在本文中，我们为硬件优化的DNN架构的自动化设计开发了一种进化优化技术。为此，我们导出了一组价格可计算的目标函数，这样就可以快速评估DNN架构的硬件效率和错误恢复能力。我们观察到预测的错误复原力与从故障注入模拟获得的实际测量值之间存在很强的相关性。此外，我们分析了两种不同的量化方案以进行有效的DNN计算，发现其中一种方案比另一种方案具有更高的抗错能力。最后，将我们的算法提供的架构与流行的MobileNetV2和NASNet-A模型进行比较，发现我们的模型的误码复原能力提高了多达7倍。我们是第一个在神经体系结构搜索框架中结合错误弹性，效率和性能优化的公司。我们观察到预测的错误复原力与从故障注入模拟获得的实际测量值之间存在很强的相关性。此外，我们分析了两种不同的量化方案以进行有效的DNN计算，并发现其中一种方案比另一种方案具有更高的容错能力。最后，将我们的算法提供的架构与流行的MobileNetV2和NASNet-A模型进行比较，发现我们的模型的误码复原能力提高了多达7倍。我们是第一个在神经体系结构搜索框架中结合错误弹性，效率和性能优化的公司。我们观察到预测的错误复原力与从故障注入模拟获得的实际测量值之间存在很强的相关性。此外，我们分析了两种不同的量化方案以进行有效的DNN计算，发现其中一种方案比另一种方案具有更高的抗错能力。最后，将我们的算法与流行的MobileNetV2和NASNet-A模型提供的体系结构进行比较后，发现我们的模型的误码恢复能力提高了多达7倍。我们是第一个在神经体系结构搜索框架中结合错误弹性，效率和性能优化的公司。通过将我们的算法与流行的MobileNetV2和NASNet-A模型提供的体系结构进行比较，我们的模型的误码恢复能力提高了多达7倍。我们是第一个在神经体系结构搜索框架中结合错误弹性，效率和性能优化的公司。通过将我们的算法与流行的MobileNetV2和NASNet-A模型提供的体系结构进行比较，我们的模型的误码恢复能力提高了多达7倍。我们是第一个在神经体系结构搜索框架中结合错误弹性，效率和性能优化的公司。