Arithmetic precision scaling is mandatory to deploy Convolutional Neural Networks (CNNs) on resource-constrained devices such as microcontrollers (MCUs), and quantization via fixed-point or binarization are the most adopted techniques today. Despite being born by the same concept of bit-width lowering, these two strategies differ substantially each other, and hence are often conceived and implemented separately. However, their joint integration is feasible and, if properly implemented, can bring to large savings and high processing efficiency. This work elaborates on this aspect introducing a boosted collaborative mechanism that pushes CNNs towards higher performance and more predictive capability. Referred as BC-Net, the proposed solution consists of a self-adaptive conditional scheme where a lightweight binary net and an 8-bit quantized net are trained to cooperate dynamically. Experiments conducted on four different CNN benchmarks deployed on off-the-shelf boards powered with the MCUs of the Cortex-M family by ARM show that BC-Nets outperform classical quantization and binarization when applied as separate techniques (up to 81.49% speed-up and up to 3.8% of accuracy improvement). The comparative analysis with a previously proposed cooperative method also demonstrates BC-Nets achieve substantial savings in terms of both performance (+19%) and accuracy (+3.45%).

中文翻译：

---

使用增强型协同卷积神经网络 (BC-Net) 对微控制器进行快速准确的推理

在微控制器 (MCU) 等资源受限设备上部署卷积神经网络 (CNN) 时，必须进行算术精度缩放，而通过定点或二值化进行的量化是当今最常用的技术。尽管诞生于相同的降低位宽的概念，但这两种策略彼此有很大不同，因此通常是分开构思和实施的。然而，它们的联合集成是可行的，如果实施得当，可以带来大量的节省和高处理效率。这项工作详细介绍了这一方面，引入了一种增强的协作机制，推动 CNN 朝着更高的性能和更强的预测能力发展。简称BC-Net，所提出的解决方案包括自适应条件方案，其中训练轻量级二进制网络和 8 位量化网络以动态协作。对部署在由 ARM 提供的 Cortex-M 系列 MCU 驱动的现成板上的四个不同 CNN 基准进行的实验表明，当作为单独的技术应用时，BC-Nets 的性能优于经典量化和二值化（高达 81.49% 的加速）和高达 3.8% 的准确度提升）。与先前提出的合作方法的比较分析也表明，BC-Nets 在性能（+19%）和准确性（+3.45%）方面都实现了大幅节省。对部署在由 ARM 提供的 Cortex-M 系列 MCU 驱动的现成板上的四个不同 CNN 基准进行的实验表明，当作为单独的技术应用时，BC-Nets 的性能优于经典量化和二值化（高达 81.49% 的加速）和高达 3.8% 的准确度提升）。与先前提出的合作方法的比较分析也表明，BC-Nets 在性能（+19%）和准确性（+3.45%）方面都实现了大幅节省。对部署在由 ARM 提供的 Cortex-M 系列 MCU 驱动的现成板上的四个不同 CNN 基准进行的实验表明，当作为单独的技术应用时，BC-Nets 的性能优于经典量化和二值化（高达 81.49% 的加速）和高达 3.8% 的准确度提升）。与先前提出的合作方法的比较分析也表明，BC-Nets 在性能（+19%）和准确性（+3.45%）方面都实现了大幅节省。