Model compression and acceleration are attracting increasing attentions due to the demand for embedded devices and mobile applications. Research on efficient convolutional neural networks (CNNs) aims at removing feature redundancy by decomposing or optimizing the convolutional calculation. In this work, feature redundancy is assumed to exist among channels in CNN architectures, which provides some leeway to boost calculation efficiency. Aiming at channel compression, a novel convolutional construction named compact convolution is proposed to embrace the progress in spatial convolution, channel grouping and pooling operation. Specifically, the depth-wise separable convolution and the point-wise interchannel operation are utilized to efficiently extract features. Different from the existing channel compression method which usually introduces considerable learnable weights, the proposed compact convolution can reduce feature redundancy with no extra parameters. With the point-wise interchannel operation, compact convolutions implicitly squeeze the channel dimension of feature maps. To explore the rules on reducing channel redundancy in neural networks, the comparison is made among different point-wise interchannel operations. Moreover, compact convolutions are extended to tackle with multiple tasks, such as acoustic scene classification, sound event detection and image classification. The extensive experiments demonstrate that our compact convolution not only exhibits high effectiveness in several multimedia tasks, but also can be efficiently implemented by benefiting from parallel computation.

中文翻译：

---

通道压缩：重新思考 CNN 架构中通道间的信息冗余

由于对嵌入式设备和移动应用程序的需求，模型压缩和加速越来越受到关注。高效卷积神经网络 (CNN) 的研究旨在通过分解或优化卷积计算来去除特征冗余。在这项工作中，假设 CNN 架构中的通道之间存在特征冗余，这为提高计算效率提供了一些余地。针对通道压缩，提出了一种名为紧凑卷积的新型卷积结构，以包含空间卷积、通道分组和池化操作的进展。具体来说，利用深度可分离卷积和逐点通道间操作来有效地提取特征。与现有的通道压缩方法通常引入相当大的可学习权重不同，所提出的紧凑卷积可以在没有额外参数的情况下减少特征冗余。通过逐点通道间操作，紧凑卷积隐式压缩了特征图的通道维度。为了探索减少神经网络中通道冗余的规则，在不同的逐点通道间操作之间进行了比较。此外，紧凑卷积被扩展到处理多个任务，例如声学场景分类、声音事件检测和图像分类。广泛的实验表明，我们的紧凑卷积不仅在多个多媒体任务中表现出很高的效率，而且可以通过受益于并行计算来有效地实现。提出的紧凑卷积可以在没有额外参数的情况下减少特征冗余。通过逐点通道间操作，紧凑卷积隐式压缩了特征图的通道维度。为了探索减少神经网络中通道冗余的规则，在不同的逐点通道间操作之间进行了比较。此外，紧凑卷积被扩展到处理多个任务，例如声学场景分类、声音事件检测和图像分类。广泛的实验表明，我们的紧凑卷积不仅在多个多媒体任务中表现出很高的效率，而且可以通过受益于并行计算来有效地实现。所提出的紧凑卷积可以减少特征冗余，而无需额外参数。通过逐点通道间操作，紧凑卷积隐式压缩了特征图的通道维度。为了探索减少神经网络中通道冗余的规则，在不同的逐点通道间操作之间进行了比较。此外，紧凑卷积被扩展到处理多种任务，例如声学场景分类、声音事件检测和图像分类。广泛的实验表明，我们的紧凑卷积不仅在多个多媒体任务中表现出很高的效率，而且可以通过受益于并行计算来有效地实现。紧凑卷积隐含地压缩了特征图的通道维度。为了探索减少神经网络中通道冗余的规则，在不同的逐点通道间操作之间进行了比较。此外，紧凑卷积被扩展到处理多个任务，例如声学场景分类、声音事件检测和图像分类。广泛的实验表明，我们的紧凑卷积不仅在多个多媒体任务中表现出很高的效率，而且可以通过受益于并行计算来有效地实现。紧凑卷积隐含地压缩了特征图的通道维度。为了探索减少神经网络中通道冗余的规则，在不同的逐点通道间操作之间进行了比较。此外，紧凑卷积被扩展到处理多个任务，例如声学场景分类、声音事件检测和图像分类。广泛的实验表明，我们的紧凑卷积不仅在多个多媒体任务中表现出很高的效率，而且可以通过受益于并行计算来有效地实现。如声场景分类、声音事件检测和图像分类。广泛的实验表明，我们的紧凑卷积不仅在多个多媒体任务中表现出很高的效率，而且可以通过受益于并行计算来有效地实现。如声场景分类、声音事件检测和图像分类。广泛的实验表明，我们的紧凑卷积不仅在多个多媒体任务中表现出很高的效率，而且可以通过受益于并行计算来有效地实现。