In this article, we propose a novel filter pruning method for deep learning networks by calculating the learned representation median (RM) in frequency domain (LRMF). In contrast to the existing filter pruning methods that remove relatively unimportant filters in the spatial domain, our newly proposed approach emphasizes the removal of absolutely unimportant filters in the frequency domain. Through extensive experiments, we observed that the criterion for “relative unimportance” cannot be generalized well and that the discrete cosine transform (DCT) domain can eliminate redundancy and emphasize low-frequency representation, which is consistent with the human visual system. Based on these important observations, our LRMF calculates the learned RM in the frequency domain and removes its corresponding filter, since it is absolutely unimportant at each layer. Thanks to this, the time-consuming fine-tuning process is not required in LRMF. The results show that LRMF outperforms state-of-the-art pruning methods. For example, with ResNet110 on CIFAR-10, it achieves a 52.3% FLOPs reduction with an improvement of 0.04% in Top-1 accuracy. With VGG16 on CIFAR-100, it reduces FLOPs by 35.9% while increasing accuracy by 0.5%. On ImageNet, ResNet18 and ResNet50 are accelerated by 53.3% and 52.7% with only 1.76% and 0.8% accuracy loss, respectively. The code is based on PyTorch and is available at https://github.com/zhangxin-xd/LRMF .

中文翻译：

---

通过频域中的学习表示中值进行滤波器修剪

在本文中，我们通过计算频域 (LRMF) 中的学习表示中值 (RM)，提出了一种用于深度学习网络的新型滤波器修剪方法。与删除空间域中相对不重要的过滤器的现有过滤器修剪方法相比，我们新提出的方法强调删除频域中绝对不重要的过滤器。通过大量实验，我们观察到“相对不重要”的标准不能很好地泛化，离散余弦变换（DCT）域可以消除冗余并强调低频表示，这与人类视觉系统是一致的。基于这些重要的观察，我们的 LRMF 计算频域中学习到的 RM 并移除其相应的滤波器，因为它在每一层都绝对不重要。因此，LRMF 不需要耗时的微调过程。结果表明，LRMF 优于最先进的修剪方法。例如，使用 CIFAR-10 上的 ResNet110，它实现了 52.3% 的 FLOPs 减少，Top-1 精度提高了 0.04%。使用 CIFAR-100 上的 VGG16，它可以将 FLOP 减少 35.9%，同时将准确度提高 0.5%。在 ImageNet 上，ResNet18 和 ResNet50 分别加速了 53.3% 和 52.7%，精度损失仅为 1.76% 和 0.8%。该代码基于 PyTorch，可在 04% 的 Top-1 准确率。使用 CIFAR-100 上的 VGG16，它可以将 FLOP 减少 35.9%，同时将准确度提高 0.5%。在 ImageNet 上，ResNet18 和 ResNet50 分别加速了 53.3% 和 52.7%，精度损失仅为 1.76% 和 0.8%。该代码基于 PyTorch，可在 04% 的 Top-1 准确率。使用 CIFAR-100 上的 VGG16，它可以将 FLOP 减少 35.9%，同时将准确度提高 0.5%。在 ImageNet 上，ResNet18 和 ResNet50 分别加速了 53.3% 和 52.7%，精度损失仅为 1.76% 和 0.8%。该代码基于 PyTorch，可在https://github.com/zhangxin-xd/LRMF .