While convolutional neural network (CNN) has achieved overwhelming success in various vision tasks, its heavy computational cost and storage overhead limit the practical use on mobile or embedded devices. Recently, compressing CNN models has attracted considerable attention, where pruning CNN filters, also known as the channel pruning, has generated great research popularity due to its high compression rate. In this paper, a new channel pruning framework is proposed, which can significantly reduce the computational complexity while maintaining sufficient model accuracy. Unlike most existing approaches that seek to-be-pruned filters layer by layer, we argue that choosing appropriate layers for pruning is more crucial, which can result in more complexity reduction but less performance drop. To this end, we utilize a long short-term memory (LSTM) to learn the hierarchical characteristics of a network and generate a global network pruning scheme. On top of it, we propose a data-dependent soft pruning method, dubbed Squeeze-Excitation-Pruning (SEP), which does not physically prune any filters but selectively excludes some kernels involved in calculating forward and backward propagations depending on the pruning scheme. Compared with the hard pruning, our soft pruning can better retain the capacity and knowledge of the baseline model. Experimental results demonstrate that our approach still achieves comparable accuracy even when reducing 70.1% Floating-point operation per second (FLOPs) for VGG and 47.5% for Resnet-56.

中文翻译：

---

修剪地点：使用LSTM指导依赖于数据的软修剪

尽管卷积神经网络（CNN）在各种视觉任务中取得了压倒性的成功，但其沉重的计算成本和存储开销限制了在移动或嵌入式设备上的实际使用。近年来，压缩CNN模型引起了广泛关注，其中修剪CNN过滤器（也称为通道修剪）由于其高压缩率而引起了极大的研究兴趣。本文提出了一种新的信道修剪框架，该框架可以在保持足够的模型精度的同时显着降低计算复杂度。与大多数寻求逐层修剪过滤器的现有方法不同，我们认为选择适当的层进行修剪更为关键，这可以减少更多的复杂性，但减少的性能下降。为此，我们利用长短期记忆（LSTM）来了解网络的分层特征并生成全局网络修剪方案。最重要的是，我们提出了一种与数据相关的软修剪方法，称为“挤压-激励-修剪”（SEP），该方法不会物理修剪任何过滤器，而是根据修剪方案有选择地排除一些涉及计算正向和反向传播的内核。与硬修剪相比，我们的软修剪可以更好地保留基线模型的功能和知识。实验结果表明，即使将VGG的浮点运算每秒（FLOP）降低7％，将Resnet-56降低47.5％的每秒浮点运算（FLOP），我们的方法仍然可以达到可比的精度。我们提出了一种与数据相关的软修剪方法，称为“挤压-激励-修剪（SEP）”，该方法不会物理修剪任何过滤器，而是根据修剪方案有选择地排除一些涉及计算正向和反向传播的内核。与硬修剪相比，我们的软修剪可以更好地保留基线模型的功能和知识。实验结果表明，即使将VGG的浮点运算每秒（FLOP）降低7％，将Resnet-56降低47.5％的每秒浮点运算（FLOP），我们的方法仍然可以达到可比的精度。我们提出了一种与数据相关的软修剪方法，称为“挤压-激励-修剪（SEP）”，该方法不会物理修剪任何过滤器，而是根据修剪方案有选择地排除一些涉及计算正向和反向传播的内核。与硬修剪相比，我们的软修剪可以更好地保留基线模型的功能和知识。实验结果表明，即使将VGG的浮点运算每秒（FLOP）降低7％，将Resnet-56降低47.5％的每秒浮点运算（FLOP），我们的方法仍然可以达到可比的精度。我们的软修剪可以更好地保留基线模型的功能和知识。实验结果表明，即使将VGG的浮点运算每秒（FLOP）降低7％，将Resnet-56降低47.5％的每秒浮点运算（FLOP），我们的方法仍然可以达到可比的精度。我们的软修剪可以更好地保留基线模型的功能和知识。实验结果表明，即使将VGG的浮点运算每秒（FLOP）降低7％，将Resnet-56降低47.5％的每秒浮点运算（FLOP），我们的方法仍然可以达到可比的精度。