Recent years have witnessed an exponential increase in the use of mobile and embedded devices. With the great success of deep learning in many fields, there is an emerging trend to deploy deep learning on mobile and embedded devices to better meet the requirement of real-time applications and user privacy protection. However, the limited resources of mobile and embedded devices make it challenging to fulfill the intensive computation and storage demand of deep learning models. In this survey, we conduct a comprehensive review on the related issues for deep learning on mobile and embedded devices. We start with a brief introduction of deep learning and discuss major challenges of implementing deep learning models on mobile and embedded devices. We then conduct an in-depth survey on important compression and acceleration techniques that help adapt deep learning models to mobile and embedded devices, which we specifically classify as pruning, quantization, model distillation, network design strategies, and low-rank factorization. We elaborate on the hardware-based solutions, including mobile GPU, FPGA, and ASIC, and describe software frameworks for mobile deep learning models, especially the development of frameworks based on OpenCL and RenderScript. After that, we present the application of mobile deep learning in a variety of areas, such as navigation, health, speech recognition, and information security. Finally, we discuss some future directions for deep learning on mobile and embedded devices to inspire further research in this area.

中文翻译：

---

移动和嵌入式设备上的深度学习

近年来，移动和嵌入式设备的使用呈指数级增长。随着深度学习在许多领域取得巨大成功，将深度学习部署在移动和嵌入式设备上以更好地满足实时应用和用户隐私保护的需求已成为一种新兴趋势。然而，移动和嵌入式设备资源有限，难以满足深度学习模型的密集计算和存储需求。在本次调查中，我们对移动和嵌入式设备上深度学习的相关问题进行了全面回顾。我们首先简要介绍深度学习，并讨论在移动和嵌入式设备上实施深度学习模型的主要挑战。然后，我们对有助于使深度学习模型适应移动和嵌入式设备的重要压缩和加速技术进行深入调查，我们将其具体分类为剪枝、量化、模型蒸馏、网络设计策略和低秩分解。我们详细阐述了基于硬件的解决方案，包括移动 GPU、FPGA 和 ASIC，并描述了移动深度学习模型的软件框架，特别是基于 OpenCL 和 RenderScript 的框架开发。之后，我们展示了移动深度学习在导航、健康、语音识别和信息安全等多个领域的应用。最后，我们讨论了移动和嵌入式设备上深度学习的一些未来方向，以激发该领域的进一步研究。我们将其具体分类为剪枝、量化、模型蒸馏、网络设计策略和低秩分解。我们详细阐述了基于硬件的解决方案，包括移动 GPU、FPGA 和 ASIC，并描述了移动深度学习模型的软件框架，特别是基于 OpenCL 和 RenderScript 的框架开发。之后，我们展示了移动深度学习在导航、健康、语音识别和信息安全等多个领域的应用。最后，我们讨论了移动和嵌入式设备上深度学习的一些未来方向，以激发该领域的进一步研究。我们将其具体分类为剪枝、量化、模型蒸馏、网络设计策略和低秩分解。我们详细阐述了基于硬件的解决方案，包括移动 GPU、FPGA 和 ASIC，并描述了移动深度学习模型的软件框架，特别是基于 OpenCL 和 RenderScript 的框架开发。之后，我们展示了移动深度学习在导航、健康、语音识别和信息安全等多个领域的应用。最后，我们讨论了移动和嵌入式设备上深度学习的一些未来方向，以激发该领域的进一步研究。和 ASIC，并描述了移动深度学习模型的软件框架，特别是基于 OpenCL 和 RenderScript 的框架开发。之后，我们展示了移动深度学习在导航、健康、语音识别和信息安全等多个领域的应用。最后，我们讨论了移动和嵌入式设备上深度学习的一些未来方向，以激发该领域的进一步研究。和 ASIC，并描述了移动深度学习模型的软件框架，特别是基于 OpenCL 和 RenderScript 的框架开发。之后，我们展示了移动深度学习在导航、健康、语音识别和信息安全等多个领域的应用。最后，我们讨论了移动和嵌入式设备上深度学习的一些未来方向，以激发该领域的进一步研究。