In the current era, the coordination of traffic flow is hindered by the discrepancy between road infrastructure and the number of vehicles which leads to traffic congestion. One of the widely used strategies to mitigate traffic congestion is to control traffic signals with the help of deep reinforcement learning (DRL) in edge computing based intelligent transportation system. This article provides a comprehensive analysis of the most recent DRL algorithms, advantage actor-critic and proximal policy optimization in multiple deep neural networks (DNNs), including a state-of-the-art transformer model for effective traffic signal management. Here, a single DRL agent is used, which obtains the spatio-temporal information of the traffic to identify traffic patterns from complex intersection environments. The agent uses this information as the input to the DNNs and then applies the algorithms to retrieve the essential parameters of DNN to seek an optimal action selection policy to mitigate congestion. Different real-time maps and small city networks are explored here to determine which DNN is best suited for traffic congestion management. The simulation study reveals that both the algorithms significantly outperform the baseline. The transformer model gives the best result when compared to other DNNs. The transformer model decreases average waiting time by 96.16%, implying that it has a higher capability of dealing with congested environments.

中文翻译：

---

基于深度强化学习的智能交通系统多交叉口网络交通信号协同控制边缘计算

在当今时代，道路基础设施与车辆数量的差异阻碍了交通流的协调，导致交通拥堵。缓解交通拥堵的广泛使用的策略之一是在基于边缘计算的智能交通系统中借助深度强化学习 (DRL) 来控制交通信号。本文全面分析了多个深度神经网络 (DNN) 中的最新 DRL 算法、优势actor-critic 和近端策略优化，包括用于有效交通信号管理的最先进的变压器模型。在这里，使用单个 DRL 代理，它获取交通的时空信息，以识别复杂交叉路口环境中的交通模式。代理使用此信息作为 DNN 的输入，然后应用算法来检索 DNN 的基本参数，以寻求最佳的动作选择策略来缓解拥塞。此处探索了不同的实时地图和小城市网络，以确定哪种 DNN 最适合交通拥堵管理。仿真研究表明，这两种算法都显着优于基线。与其他 DNN 相比，Transformer 模型给出了最好的结果。Transformer 模型将平均等待时间减少了 96.16%，这意味着它具有更高的处理拥塞环境的能力。此处探索了不同的实时地图和小城市网络，以确定哪种 DNN 最适合交通拥堵管理。仿真研究表明，这两种算法都显着优于基线。与其他 DNN 相比，Transformer 模型给出了最好的结果。Transformer 模型将平均等待时间减少了 96.16%，这意味着它具有更高的处理拥塞环境的能力。此处探索了不同的实时地图和小城市网络，以确定哪种 DNN 最适合交通拥堵管理。仿真研究表明，这两种算法都显着优于基线。与其他 DNN 相比，Transformer 模型给出了最好的结果。Transformer 模型将平均等待时间减少了 96.16%，这意味着它具有更高的处理拥塞环境的能力。