Deep convolutional neural networks (DCNNs) have dominated as the best performers on almost all computer vision tasks over the past several years. However, it remains a major challenge to deploy these powerful DCNNs in resource-limited environments, such as embedded devices and smartphones. To this end, 1-bit CNNs have emerged as a feasible solution as they are much more resource-efficient. Unfortunately, they often suffer from a significant performance drop compared to their full-precision counterparts. In this paper, we propose a novel Bayesian Optimized compact 1-bit CNNs (BONNs) model, which has the advantage of Bayesian learning, to improve the performance of 1-bit CNNs significantly. BONNs incorporate the prior distributions of full-precision kernels, features, and filters into a Bayesian framework to construct 1-bit CNNs in a comprehensive end-to-end manner. The proposed Bayesian learning algorithms are well-founded and used to optimize the network simultaneously in different kernels, features, and filters, which largely improves the compactness and capacity of 1-bit CNNs. We further introduce a new Bayesian learning-based pruning method for 1-bit CNNs, which significantly increases the model efficiency with very competitive performance. This enables our method to be used in a variety of practical scenarios. Extensive experiments on the ImageNet, CIFAR, and LFW datasets show that BONNs achieve the best in classification performance compared to a variety of state-of-the-art 1-bit CNN models. In particular, BONN achieves a strong generalization performance on the object detection task.

在过去的几年中，深度卷积神经网络 (DCNN) 在几乎所有计算机视觉任务中都表现最佳。然而，在资源有限的环境中部署这些强大的 DCNN 仍然是一个重大挑战，例如嵌入式设备和智能手机。为此，1 位 CNN 已成为一种可行的解决方案，因为它们资源效率更高。不幸的是，与全精度对应物相比，它们的性能经常显着下降。在本文中，我们提出了一种新颖的贝叶斯优化紧凑型 1 位 CNN (BONN) 模型，该模型具有贝叶斯学习的优势，可显着提高 1 位 CNN 的性能。BONN 结合了全精度内核的先验分布、特征、并过滤到贝叶斯框架中，以全面的端到端方式构建 1 位 CNN。所提出的贝叶斯学习算法是有充分根据的，用于在不同的内核、特征和滤波器中同时优化网络，这在很大程度上提高了 1 位 CNN 的紧凑性和容量。我们进一步为 1 位 CNN 引入了一种新的基于贝叶斯学习的剪枝方法，它以极具竞争力的性能显着提高了模型效率。这使我们的方法能够用于各种实际场景。在 ImageNet、CIFAR 和 LFW 数据集上进行的大量实验表明，与各种最先进的 1 位 CNN 模型相比，BONN 的分类性能最佳。特别是，BONN 在对象检测任务上实现了很强的泛化性能。所提出的贝叶斯学习算法是有充分根据的，用于在不同的内核、特征和滤波器中同时优化网络，这在很大程度上提高了 1 位 CNN 的紧凑性和容量。我们进一步为 1 位 CNN 引入了一种新的基于贝叶斯学习的剪枝方法，它以极具竞争力的性能显着提高了模型效率。这使我们的方法能够用于各种实际场景。在 ImageNet、CIFAR 和 LFW 数据集上进行的大量实验表明，与各种最先进的 1 位 CNN 模型相比，BONN 的分类性能最佳。特别是，BONN 在对象检测任务上实现了很强的泛化性能。所提出的贝叶斯学习算法是有充分根据的，用于在不同的内核、特征和滤波器中同时优化网络，这在很大程度上提高了 1 位 CNN 的紧凑性和容量。我们进一步为 1 位 CNN 引入了一种新的基于贝叶斯学习的剪枝方法，它以极具竞争力的性能显着提高了模型效率。这使我们的方法能够用于各种实际场景。在 ImageNet、CIFAR 和 LFW 数据集上进行的大量实验表明，与各种最先进的 1 位 CNN 模型相比，BONN 的分类性能最佳。特别是，BONN 在对象检测任务上实现了很强的泛化性能。