Micro-controllers (MCUs) make up most of the processors in the world with widespread applicability from automobile to medical devices. The Internet of Things promises to enable these resource-constrained MCUs with machine learning algorithms to provide always-on intelligence. Many Internet of Things applications consume time-series data that are naturally suitable for recurrent neural networks (RNNs) like LSTMs and GRUs. However, RNNs can be large and difficult to deploy on these devices, as they have few kilobytes of memory. As a result, there is a need for compression techniques that can significantly compress RNNs without negatively impacting task accuracy. This article introduces a method to compress RNNs for resource-constrained environments using the Kronecker product (KP). KPs can compress RNN layers by 16× to 38× with minimal accuracy loss. By quantizing the resulting models to 8 bits, we further push the compression factor to 50×. We compare KP with other state-of-the-art compression techniques across seven benchmarks spanning five different applications and show that KP can beat the task accuracy achieved by other techniques by a large margin while simultaneously improving the inference runtime. Sometimes the KP compression mechanism can introduce an accuracy loss. We develop a hybrid KP approach to mitigate this. Our hybrid KP algorithm provides fine-grained control over the compression ratio, enabling us to regain accuracy lost during compression by adding a small number of model parameters.

中文翻译：

---

使用 Kronecker 产品将物联网设备的 RNN 压缩到千字节预算

微控制器 (MCU) 构成了世界上大多数处理器，广泛适用于从汽车到医疗设备。物联网承诺使这些资源受限的 MCU 能够通过机器学习算法提供永远在线的智能。许多物联网应用程序使用自然适用于循环神经网络 (RNN) 的时间序列数据，如 LSTM 和 GRU。然而，RNN 可能很大并且难以在这些设备上部署，因为它们只有几千字节的内存。因此，需要能够显着压缩 RNN 而不会对任务准确性产生负面影响的压缩技术。本文介绍了一种使用 Kronecker 积 (KP) 为资源受限环境压缩 RNN 的方法。KPs 可以将 RNN 层压缩 16 到 38 倍，并且精度损失最小。通过将生成的模型量化为 8 位，我们进一步将压缩因子推至 50 倍。我们在跨越五个不同应用程序的七个基准测试中将 KP 与其他最先进的压缩技术进行了比较，并表明 KP 可以大大超过其他技术实现的任务准确性，同时提高推理运行时间。有时，KP 压缩机制会引入精度损失。我们开发了一种混合 KP 方法来缓解这种情况。我们的混合 KP 算法提供了对压缩比的细粒度控制，使我们能够通过添加少量模型参数来恢复压缩过程中丢失的精度。我们在跨越五个不同应用程序的七个基准测试中将 KP 与其他最先进的压缩技术进行了比较，并表明 KP 可以大大超过其他技术实现的任务准确性，同时提高推理运行时间。有时，KP 压缩机制会引入精度损失。我们开发了一种混合 KP 方法来缓解这种情况。我们的混合 KP 算法提供了对压缩比的细粒度控制，使我们能够通过添加少量模型参数来恢复压缩过程中丢失的精度。我们在跨越五个不同应用程序的七个基准测试中将 KP 与其他最先进的压缩技术进行了比较，并表明 KP 可以大大超过其他技术实现的任务准确性，同时提高推理运行时间。有时，KP 压缩机制会引入精度损失。我们开发了一种混合 KP 方法来缓解这种情况。我们的混合 KP 算法提供了对压缩比的细粒度控制，使我们能够通过添加少量模型参数来恢复压缩过程中丢失的精度。我们开发了一种混合 KP 方法来缓解这种情况。我们的混合 KP 算法提供了对压缩比的细粒度控制，使我们能够通过添加少量模型参数来恢复压缩过程中丢失的精度。我们开发了一种混合 KP 方法来缓解这种情况。我们的混合 KP 算法提供了对压缩比的细粒度控制，使我们能够通过添加少量模型参数来恢复压缩过程中丢失的精度。