This paper presents a comprehensive literature review on applications of deep reinforcement learning (DRL) in communications and networking. Modern networks, e.g., Internet of Things (IoT) and unmanned aerial vehicle (UAV) networks, become more decentralized and autonomous. In such networks, network entities need to make decisions locally to maximize the network performance under uncertainty of network environment. Reinforcement learning has been efficiently used to enable the network entities to obtain the optimal policy including, e.g., decisions or actions, given their states when the state and action spaces are small. However, in complex and large-scale networks, the state and action spaces are usually large, and the reinforcement learning may not be able to find the optimal policy in reasonable time. Therefore, DRL, a combination of reinforcement learning with deep learning, has been developed to overcome the shortcomings. In this survey, we first give a tutorial of DRL from fundamental concepts to advanced models. Then, we review DRL approaches proposed to address emerging issues in communications and networking. The issues include dynamic network access, data rate control, wireless caching, data offloading, network security, and connectivity preservation which are all important to next generation networks, such as 5G and beyond. Furthermore, we present applications of DRL for traffic routing, resource sharing, and data collection. Finally, we highlight important challenges, open issues, and future research directions of applying DRL.

中文翻译：

---

深度强化学习在通信和网络中的应用：调查

本文对深度强化学习 (DRL) 在通信和网络中的应用进行了全面的文献综述。现代网络，例如物联网 (IoT) 和无人机 (UAV) 网络，变得更加分散和自主。在这样的网络中，网络实体需要在本地做出决策，以在网络环境不确定的情况下最大化网络性能。强化学习已被有效地用于使网络实体能够在状态和动作空间较小时根据其状态获得最佳策略，包括例如决策或动作。然而，在复杂的大规模网络中，状态和动作空间通常很大，强化学习可能无法在合理的时间内找到最优策略。因此，DRL，强化学习与深度学习的结合已经被开发来克服这些缺点。在本次调查中，我们首先给出了从基本概念到高级模型的 DRL 教程。然后，我们回顾了为解决通信和网络中的新问题而提出的 DRL 方法。这些问题包括动态网络访问、数据速率控制、无线缓存、数据卸载、网络安全和连接保护，这些对下一代网络（如 5G 及更高版本）都很重要。此外，我们还介绍了 DRL 在流量路由、资源共享和数据收集方面的应用。最后，我们强调了应用 DRL 的重要挑战、开放问题和未来研究方向。我们首先给出从基础概念到高级模型的 DRL 教程。然后，我们回顾了为解决通信和网络中的新问题而提出的 DRL 方法。这些问题包括动态网络访问、数据速率控制、无线缓存、数据卸载、网络安全和连接保护，这些对下一代网络（如 5G 及更高版本）都很重要。此外，我们还介绍了 DRL 在流量路由、资源共享和数据收集方面的应用。最后，我们强调了应用 DRL 的重要挑战、开放问题和未来研究方向。我们首先给出从基础概念到高级模型的 DRL 教程。然后，我们回顾了为解决通信和网络中的新问题而提出的 DRL 方法。这些问题包括动态网络访问、数据速率控制、无线缓存、数据卸载、网络安全和连接保护，这些对下一代网络（如 5G 及更高版本）都很重要。此外，我们还介绍了 DRL 在流量路由、资源共享和数据收集方面的应用。最后，我们强调了应用 DRL 的重要挑战、开放问题和未来研究方向。网络安全和连接保护，这对下一代网络（例如 5G 及更高版本）都很重要。此外，我们还介绍了 DRL 在流量路由、资源共享和数据收集方面的应用。最后，我们强调了应用 DRL 的重要挑战、开放问题和未来研究方向。网络安全和连接保护，这对下一代网络（例如 5G 及更高版本）都很重要。此外，我们还介绍了 DRL 在流量路由、资源共享和数据收集方面的应用。最后，我们强调了应用 DRL 的重要挑战、开放问题和未来研究方向。