Deep Neural Networks (DNNs) have gained unprecedented popularity due to their high-order performance and automated feature extraction capability. This has encouraged researchers to incorporate DNN in different Internet of Things (IoT) applications in recent years. However, the colossal requirement of computation, energy, and storage of DNNs make their deployment prohibitive on resource-constrained IoT devices. Therefore, several compression techniques have been proposed in recent years to reduce the energy, storage, and computation requirements of the DNN. These techniques have utilized a different perspective for compressing a DNN with minimal accuracy compromise. This encourages us to comprehensively overview DNN compression techniques for the IoT. This article presents a comprehensive overview of existing literature on compressing the DNN that reduces energy consumption, storage, and computation requirements for IoT applications. We divide the existing approaches into five broad categories—network pruning, sparse representation, bits precision, knowledge distillation, and miscellaneous—based upon the mechanism incorporated for compressing the DNN. The article discusses the challenges associated with each category of DNN compression techniques and presents some prominent applications using IoT in conjunction with a compressed DNN. Finally, we provide a quick summary of existing work under each category with the future direction in DNN compression.

深度神经网络 (DNN) 因其高阶性能和自动特征提取能力而获得了前所未有的普及。近年来，这鼓励研究人员将 DNN 纳入不同的物联网 (IoT) 应用程序。然而，DNN 对计算、能量和存储的巨大需求使得它们无法部署在资源受限的物联网设备上。因此，近年来提出了几种压缩技术来降低 DNN 的能量、存储和计算要求。这些技术利用不同的视角来压缩 DNN，同时将精度妥协降到最低。这鼓励我们全面概述物联网的 DNN 压缩技术。本文全面概述了有关压缩 DNN 的现有文献，以降低 IoT 应用程序的能耗、存储和计算要求。我们根据用于压缩 DNN 的机制将现有方法分为五大类——网络修剪、稀疏表示、比特精度、知识蒸馏和杂项。本文讨论了与每一类 DNN 压缩技术相关的挑战，并介绍了一些将物联网与压缩 DNN 结合使用的重要应用。最后，我们提供了每个类别下现有工作的快速总结，以及 DNN 压缩的未来方向。我们根据用于压缩 DNN 的机制将现有方法分为五大类——网络修剪、稀疏表示、比特精度、知识蒸馏和杂项。本文讨论了与每一类 DNN 压缩技术相关的挑战，并介绍了一些将物联网与压缩 DNN 结合使用的重要应用。最后，我们提供了每个类别下现有工作的快速总结，以及 DNN 压缩的未来方向。我们根据用于压缩 DNN 的机制将现有方法分为五大类——网络修剪、稀疏表示、比特精度、知识蒸馏和杂项。本文讨论了与每一类 DNN 压缩技术相关的挑战，并介绍了一些将物联网与压缩 DNN 结合使用的重要应用。最后，我们提供了每个类别下现有工作的快速总结，以及 DNN 压缩的未来方向。本文讨论了与每一类 DNN 压缩技术相关的挑战，并介绍了一些将物联网与压缩 DNN 结合使用的重要应用。最后，我们提供了每个类别下现有工作的快速总结，以及 DNN 压缩的未来方向。本文讨论了与每一类 DNN 压缩技术相关的挑战，并介绍了一些将物联网与压缩 DNN 结合使用的重要应用。最后，我们提供了每个类别下现有工作的快速总结，以及 DNN 压缩的未来方向。