当前位置: X-MOL 学术Neurocomputing › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Calibrating feature maps for deep CNNs
Neurocomputing ( IF 5.5 ) Pub Date : 2021-01-19 , DOI: 10.1016/j.neucom.2020.12.119
Pravendra Singh , Pratik Mazumder , Mohammed Asad Karim , Vinay P. Namboodiri

Many performance improvement techniques calibrate the outputs of convolutional layers to improve the performance of convolutional neural networks, e.g., Squeeze-and-Excitation Networks (SENets). These techniques train the network to extract calibration weights from the input itself. However, these methods increase the complexity of the model in order to perform calibration. We propose an approach to calibrate the outputs of convolutional layers efficiently. Specifically, we propose an architectural block called Accuracy Booster, which calibrates the convolutional layer outputs channel-wise while introducing minimal extra parameters and computation. We experimentally show that our approach achieves higher performance than existing calibration methods over several datasets and architectures while introducing lesser parameters than them. We also generalize our proposed block to calibrate the channel, width, and height of the layer output in parallel. We empirically show that this type of composite calibration performs better than applying channel-wise calibration, spatial calibration, or both. We validate our approach on the CIFAR-10/100, CUB, ImageNet, and MS-COCO datasets for various tasks. The ResNet-50 architecture with the accuracy booster block performs comparably on the classification task to the ResNet-152 architecture, which has more than twice the number of parameters. We empirically show that our method generalizes well to other tasks such as object detection. We perform extensive ablation experiments to validate our approach.



中文翻译:

校准深层CNN的特征图

许多性能改进技术会校准卷积层的输出,以提高卷积神经网络的性能,例如,挤压和激励网络(SENets)。这些技术训练网络从输入本身提取校准权重。但是,这些方法增加了模型的复杂性,以执行校准。我们提出一种有效地校准卷积层输出的方法。具体来说,我们提出了一个称为Accuracy Booster的体系结构模块,该模块在通道方向上校准卷积层输出,同时引入了最少的额外参数和计算。我们通过实验证明,在几种数据集和体系结构上,我们的方法比现有的校准方法具有更高的性能,同时引入的参数要少于它们。我们还概括了我们提出的模块,以并行校准通道的输出层的宽度,宽度和高度。我们凭经验表明,这种类型的复合校准比应用逐通道校准和/或空间校准要好。我们针对各种任务在CIFAR-10 / 100,CUB,ImageNet和MS-COCO数据集上验证了我们的方法。具有精度增强模块的ResNet-50架构在分类任务上的性能可与ResNet-152架构相比,后者具有两倍以上的参数数量。我们凭经验表明,我们的方法可以很好地推广到其他任务,例如对象检测。我们进行了广泛的消融实验,以验证我们的方法。我们凭经验表明,这种类型的复合校准比应用逐通道校准和/或空间校准要好。我们针对各种任务在CIFAR-10 / 100,CUB,ImageNet和MS-COCO数据集上验证了我们的方法。具有精度增强模块的ResNet-50架构在分类任务上的性能可与ResNet-152架构相比,后者具有两倍以上的参数数量。我们凭经验表明,我们的方法可以很好地推广到其他任务,例如对象检测。我们进行了广泛的消融实验,以验证我们的方法。我们凭经验显示,这种类型的复合校准比应用逐通道校准和/或空间校准要好。我们针对各种任务在CIFAR-10 / 100,CUB,ImageNet和MS-COCO数据集上验证了我们的方法。具有精度增强模块的ResNet-50架构在分类任务上的性能可与ResNet-152架构相比,后者具有两倍以上的参数数量。我们凭经验表明,我们的方法可以很好地推广到其他任务,例如对象检测。我们进行了广泛的消融实验,以验证我们的方法。具有精度增强模块的ResNet-50架构在分类任务上的性能可与ResNet-152架构相比,后者具有两倍以上的参数数量。我们凭经验表明,我们的方法可以很好地推广到其他任务,例如对象检测。我们进行了广泛的消融实验,以验证我们的方法。具有精度增强模块的ResNet-50架构在分类任务上的性能可与ResNet-152架构相比,后者具有两倍以上的参数数量。我们凭经验表明,我们的方法可以很好地推广到其他任务,例如对象检测。我们进行了广泛的消融实验,以验证我们的方法。

更新日期:2021-02-12
down
wechat
bug