The success of convolutional neural networks (CNNs) in various applications is accompanied by a significant increase in computation and parameter storage costs. Recent efforts to reduce these overheads involve pruning and compressing the weights of various layers while at the same time aiming to not sacrifice performance. In this paper, we propose a novel criterion for CNN pruning inspired by neural network interpretability: The most relevant units, i.e. weights or filters, are automatically found using their relevance scores obtained from concepts of explainable AI (XAI). By exploring this idea, we connect the lines of interpretability and model compression research. We show that our proposed method can efficiently prune CNN models in transfer-learning setups in which networks pre-trained on large corpora are adapted to specialized tasks. The method is evaluated on a broad range of computer vision datasets. Notably, our novel criterion is not only competitive or better compared to state-of-the-art pruning criteria when successive retraining is performed, but clearly outperforms these previous criteria in the resource-constrained application scenario in which the data of the task to be transferred to is very scarce and one chooses to refrain from fine-tuning. Our method is able to compress the model iteratively while maintaining or even improving accuracy. At the same time, it has a computational cost in the order of gradient computation and is comparatively simple to apply without the need for tuning hyperparameters for pruning.

卷积神经网络（CNN）在各种应用中的成功伴随着计算和参数存储成本的显着增加。减少这些开销的最新努力包括修剪和压缩各个层的权重，同时旨在不牺牲性能。在本文中，我们提出了一种受神经网络可解释性启发的CNN修剪新准则：使用从可解释AI（XAI）概念中获得的相关性分数自动找到最相关的单位，即权重或过滤器。通过探索这个想法，我们将可解释性与模型压缩研究联系起来。我们表明，我们提出的方法可以在传递学习设置中有效修剪CNN模型，在传递学习设置中，在大型语料库上预先训练的网络适合于特殊任务。在广泛的计算机视觉数据集上评估了该方法。值得注意的是，当执行连续再培训时，我们的新标准不仅具有竞争性，而且与最新的修剪标准相比也更好，但在资源受限的应用场景中，这些新标准显然胜过了先前的标准，在该场景中，任务的数据要被处理。转移到的资源非常稀缺，因此人们选择不进行微调。我们的方法能够迭代压缩模型，同时保持甚至提高准确性。同时，它具有梯度计算顺序的计算成本，并且在应用时相对简单，而无需调整用于修剪的超参数。当执行连续的再培训时，我们的新标准不仅具有竞争力，而且与最新的修剪标准相比也更好，但在资源受限的应用场景中，这些新标准显然优于这些先前的标准，在该场景中，要传输任务的数据非常稀缺，因此选择不进行微调。我们的方法能够迭代压缩模型，同时保持甚至提高准确性。同时，它具有梯度计算顺序的计算成本，并且在应用时相对简单，而无需调整用于修剪的超参数。当执行连续的再培训时，我们的新标准不仅具有竞争力，而且与最新的修剪标准相比也更好，但在资源受限的应用场景中，这些新标准显然优于这些先前的标准，在该场景中，要传输任务的数据非常稀缺，因此选择不进行微调。我们的方法能够迭代压缩模型，同时保持甚至提高准确性。同时，它具有梯度计算顺序的计算成本，并且在应用时相对简单，而无需调整用于修剪的超参数。但是在资源受限的应用程序场景中显然要优于这些先前的标准，在这种情况下，要传输到的任务的数据非常稀缺，因此人们选择不进行微调。我们的方法能够迭代压缩模型，同时保持甚至提高准确性。同时，它具有梯度计算顺序的计算成本，并且在应用时相对简单，而无需调整用于修剪的超参数。但是在资源受限的应用程序场景中显然要优于这些先前的标准，在这种情况下，要传输到的任务的数据非常稀缺，因此人们选择不进行微调。我们的方法能够迭代压缩模型，同时保持甚至提高准确性。同时，它具有梯度计算顺序的计算成本，并且在应用时相对简单，而无需调整用于修剪的超参数。