Since model quantization helps to reduce the model size and computation latency, it has been successfully applied in many applications of mobile phones, embedded devices and smart chips. The mixed-precision quantization model can match different quantization bit-precisions according to the sensitivity of different layers to achieve great performance. However, it is a difficult problem to quickly determine the quantization bit-precision of each layer in deep neural networks according to some constraints (e.g., hardware resources, energy consumption, model size and computation latency). To address this issue, we propose a novel sequential single path search (SSPS) method for mixed-precision quantization,in which the given constraints are introduced into its loss function to guide searching process. A single path search cell is used to combine a fully differentiable supernet, which can be optimized by gradient-based algorithms. Moreover, we sequentially determine the candidate precisions according to the selection certainties to exponentially reduce the search space and speed up the convergence of searching process. Experiments show that our method can efficiently search the mixed-precision models for different architectures (e.g., ResNet-20, 18, 34, 50 and MobileNet-V2) and datasets (e.g., CIFAR-10, ImageNet and COCO) under given constraints, and our experimental results verify that SSPS significantly outperforms their uniform counterparts.

中文翻译：

---

快速有效：一种新颖的顺序单路径搜索，用于混合精度量化

由于模型量化有助于减小模型大小和计算延迟，因此已成功应用于移动电话，嵌入式设备和智能芯片的许多应用中。混合精度量化模型可以根据不同层的敏感度来匹配不同的量化位精度，以实现出色的性能。但是，根据一些约束条件（例如，硬件资源，能耗，模型大小和计算延迟）快速确定深度神经网络中每一层的量化位精度是一个难题。为了解决这个问题，我们提出了一种新颖的用于混合精度量化的顺序单路径搜索（SSPS）方法，其中将给定的约束条件引入其损失函数以指导搜索过程。单路径搜索单元用于组合完全可区分的超网，可以通过基于梯度的算法对其进行优化。此外，我们根据选择的确定性顺序确定候选精度，以指数方式减少搜索空间并加快搜索过程的收敛速度。实验表明，在给定约束下，我们的方法可以有效地搜索不同架构（例如ResNet-20、18、34、50和MobileNet-V2）和数据集（例如CIFAR-10，ImageNet和COCO）的混合精度模型，我们的实验结果证明，SSPS的性能明显优于同类产品。我们根据选择的确定性顺序确定候选精度，以指数方式减少搜索空间，加快搜索过程的收敛速度。实验表明，在给定约束下，我们的方法可以有效地搜索不同架构（例如ResNet-20、18、34、50和MobileNet-V2）和数据集（例如CIFAR-10，ImageNet和COCO）的混合精度模型，我们的实验结果证明，SSPS的性能明显优于同类产品。我们根据选择的确定性顺序确定候选精度，以指数方式减少搜索空间，加快搜索过程的收敛速度。实验表明，在给定约束下，我们的方法可以有效地搜索不同架构（例如ResNet-20、18、34、50和MobileNet-V2）和数据集（例如CIFAR-10，ImageNet和COCO）的混合精度模型，我们的实验结果证明，SSPS的性能明显优于同类产品。