As an emerging broadband service pattern in the 5G era, VR broadcasting needs a considerable amount of bandwidth and strict quality of service (QoS) control. The traditional eMBMS or enTV transmission mode in HetNets consisting of macro cells and small cells cannot bring about a good trade-off between broadband performance and resource utilization for VR broadcasting service. D2D multicasting applied to VR broadcasting can improve the performance of edge users and resource utilization. Motivated by the rapid development of AI techniques, this paper proposes a novel hybrid transmission mode selection based on online reinforcement learning to address this problem. Each VR broadband user can be associated by one of the three modes: macrocell broadcasting, mmWave small cell unicasting and D2D multicasting. This paper first models this intelligent mode decision process as a problem to pursue the optimal system throughput. Then, an online machine learning-based method is proposed to solve this problem, which consists of a fast D2D clustering module based on unsupervised learning and a smart mode selection module based on reinforcement learning. The simulation results verify that the WoLF-PHC and Nash Q-learning perform better than other algorithms in large-scale scenarios and small-scale scenarios, respectively. The proposed intelligent transmission mode selection can also achieve larger VR throughput than traditional broadcasting strategies with a good balance between broadband performance and resource utilization.

中文翻译：

---

在 D2D 辅助 5G HetNet 中使用在线强化学习进行 VR 宽带广播的智能模式选择

VR广播作为5G时代新兴的宽带业务模式，需要相当大的带宽和严格的服务质量（QoS）控制。由宏小区和小小区组成的HetNets中传统的eMBMS或enTV传输模式无法为VR广播业务带来宽带性能和资源利用率之间的良好平衡。D2D 组播应用于 VR 广播可以提高边缘用户的性能和资源利用率。受人工智能技术快速发展的推动，本文提出了一种基于在线强化学习的新型混合传输模式选择来解决这一问题。每个 VR 宽带用户可以通过三种模式之一进行关联：宏小区广播、毫米波小小区单播和 D2D 组播。本文首先将这种智能模式决策过程建模为一个追求最优系统吞吐量的问题。然后，提出了一种基于在线机器学习的方法来解决该问题，该方法由基于无监督学习的快速 D2D 聚类模块和基于强化学习的智能模式选择模块组成。仿真结果验证了 WoLF-PHC 和 Nash Q-learning 分别在大规模场景和小规模场景中的性能优于其他算法。所提出的智能传输模式选择还可以实现比传统广播策略更大的 VR 吞吐量，并且在宽带性能和资源利用率之间取得了良好的平衡。提出了一种基于在线机器学习的方法来解决这个问题，它由基于无监督学习的快速 D2D 聚类模块和基于强化学习的智能模式选择模块组成。仿真结果验证了 WoLF-PHC 和 Nash Q-learning 分别在大规模场景和小规模场景中的性能优于其他算法。所提出的智能传输模式选择还可以实现比传统广播策略更大的 VR 吞吐量，并且在宽带性能和资源利用率之间取得了良好的平衡。提出了一种基于在线机器学习的方法来解决这个问题，它由基于无监督学习的快速 D2D 聚类模块和基于强化学习的智能模式选择模块组成。仿真结果验证了 WoLF-PHC 和 Nash Q-learning 分别在大规模场景和小规模场景中的性能优于其他算法。所提出的智能传输模式选择还可以实现比传统广播策略更大的 VR 吞吐量，并且在宽带性能和资源利用率之间取得了良好的平衡。仿真结果验证了 WoLF-PHC 和 Nash Q-learning 分别在大规模场景和小规模场景中的性能优于其他算法。所提出的智能传输模式选择还可以实现比传统广播策略更大的 VR 吞吐量，并且在宽带性能和资源利用率之间取得了良好的平衡。仿真结果验证了 WoLF-PHC 和 Nash Q-learning 分别在大规模场景和小规模场景中的性能优于其他算法。所提出的智能传输模式选择还可以实现比传统广播策略更大的 VR 吞吐量，并且在宽带性能和资源利用率之间取得了良好的平衡。