This paper introduces an adaptive sampling methodology for automated compression of Deep Neural Networks (DNNs) for accelerated inference on resource-constrained platforms. Modern DNN compression techniques comprise various hyperparameters that require per-layer customization. Our objective is to locate an optimal hyperparameter configuration that leads to lowest model complexity while adhering to a desired inference accuracy. We design a score function that evaluates the aforementioned optimality. The optimization problem is then formulated as searching for the maximizers of this score function. To this end, we devise a non-uniform adaptive sampler that aims at reconstructing the band-limited score function. We reduce the total number of required objective function evaluations by realizing a targeted sampler. We propose three adaptive sampling methodologies, i.e., AdaNS-Zoom, AdaNS-Genetic, and AdaNS-Gaussian, where new batches of samples are chosen based on the history of previous evaluations. Our algorithms start sampling from a uniform distribution over the entire search-space and iteratively adapt the sampling distribution to achieve highest density around the function maxima. This, in turn, allows for a low-error reconstruction of the objective function around its maximizers. Our extensive evaluations corroborate AdaNS effectiveness by outperforming existing rule-based and Reinforcement Learning methods in terms of DNN compression rate and/or inference accuracy.

中文翻译：

---

AdaNS：用于紧凑型 DNN 自动化设计的自适应非均匀采样

本文介绍了一种自适应采样方法，用于自动压缩深度神经网络 (DNN)，以便在资源受限平台上加速推理。现代 DNN 压缩技术包含需要每层自定义的各种超参数。我们的目标是找到一个最优的超参数配置，在保持所需的推理精度的同时，将模型复杂性降至最低。我们设计了一个评分函数来评估上述最优性。然后将优化问题表述为搜索该评分函数的最大值。为此，我们设计了一种非均匀自适应采样器，旨在重建带限评分函数。我们通过实现目标采样器来减少所需的目标函数评估的总数。我们提出了三种自适应采样方法，即 AdaNS-Zoom、AdaNS-Genetic 和 AdaNS-Gaussian，其中根据先前评估的历史选择新批次的样本。我们的算法从整个搜索空间的均匀分布开始采样，并迭代地调整采样分布以在函数最大值附近实现最高密度。反过来，这允许围绕其最大化器对目标函数进行低误差重建。我们的广泛评估通过在 DNN 压缩率和/或推理准确性方面优于现有的基于规则和强化学习方法来证实 AdaNS 的有效性。我们的算法从整个搜索空间的均匀分布开始采样，并迭代地调整采样分布以在函数最大值附近实现最高密度。反过来，这允许围绕其最大化器对目标函数进行低误差重建。我们的广泛评估通过在 DNN 压缩率和/或推理准确性方面优于现有的基于规则和强化学习方法来证实 AdaNS 的有效性。我们的算法从整个搜索空间的均匀分布开始采样，并迭代地调整采样分布以在函数最大值附近实现最高密度。反过来，这允许围绕其最大化器对目标函数进行低误差重建。我们的广泛评估通过在 DNN 压缩率和/或推理准确性方面优于现有的基于规则和强化学习方法来证实 AdaNS 的有效性。