A connected autonomous vehicle (CAV) network can be defined as a set of connected vehicles including CAVs that operate on a specific spatial scope that may be a road network, corridor, or segment. The spatial scope constitutes an environment where traffic information is shared and instructions are issued for controlling the CAVs movements. Within such a spatial scope, high-level cooperation among CAVs fostered by joint planning and control of their movements can greatly enhance the safety and mobility performance of their operations. Unfortunately, the highly combinatory and volatile nature of CAV networks due to the dynamic number of agents (vehicles) and the fast-growing joint action space associated with multi-agent driving tasks pose difficultly in achieving cooperative control. The problem is NP-hard and cannot be efficiently resolved using rule-based control techniques. Also, there is a great deal of information in the literature regarding sensing technologies and control logic in CAV operations but relatively little information on the integration of information from collaborative sensing and connectivity sources. Therefore, we present a novel deep reinforcement learning-based algorithm that combines graphic convolution neural network with deep Q-network to form an innovative graphic convolution Q network that serves as the information fusion module and decision processor. In this study, the spatial scope we consider for the CAV network is a multi-lane road corridor. We demonstrate the proposed control algorithm using the application context of freeway lane-changing at the approaches to an exit ramp. For purposes of comparison, the proposed model is evaluated vis-à-vis traditional rule-based and long short-term memory-based fusion models. The results suggest that the proposed model is capable of aggregating information received from sensing and connectivity sources and prescribing efficient operative lane-change decisions for multiple CAVs, in a manner that enhances safety and mobility. That way, the operational intentions of individual CAVs can be fulfilled even in partially observed and highly dynamic mixed traffic streams. The paper presents experimental evidence to demonstrate that the proposed algorithm can significantly enhance CAV operations. The proposed algorithm can be deployed at roadside units or cloud platforms or other centralized control facilities.

中文翻译：

---

图神经网络和强化学习用于联网自动驾驶汽车的多智能体协同控制

联网自动驾驶汽车 (CAV) 网络可以定义为一组联网车辆，包括在特定空间范围内运行的 CAV，这些空间范围可能是道路网络、走廊或路段。空间范围构成了一个共享交通信息并发布指令以控制 CAV 运动的环境。在这样的空间范围内，通过联合规划和控制其运动来促进 CAV 之间的高层合作，可以大大提高其操作的安全性和机动性。不幸的是，由于智能体（车辆）的动态数量以及与多智能体驾驶任务相关的快速增长的联合动作空间，CAV 网络的高度组合性和易变性使得难以实现协作控制。该问题是 NP-hard 问题，无法使用基于规则的控制技术有效解决。此外，文献中有大量关于 CAV 操作中的传感技术和控制逻辑的信息，但关于来自协作传感和连接源的信息集成的信息相对较少。因此，我们提出了一种新颖的基于深度强化学习的算法，将图形卷积神经网络与深度 Q 网络相结合，形成一个创新的图形卷积 Q 网络，作为信息融合模块和决策处理器。在本研究中，我们为 CAV 网络考虑的空间范围是多车道道路走廊。我们使用高速公路变道在出口匝道处的应用上下文来演示所提出的控制算法。为了进行比较，所提出的模型是针对传统的基于规则和基于长短期记忆的融合模型进行评估的。结果表明，所提出的模型能够聚合从传感和连接源接收的信息，并以提高安全性和机动性的方式为多个 CAV 制定有效的操作变道决策。这样，即使在部分观察和高度动态的混合交通流中，也可以实现单个 CAV 的操作意图。本文提供了实验证据，证明所提出的算法可以显着增强 CAV 操作。所提出的算法可以部署在路边单元或云平台或其他集中控制设施中。所提出的模型是相对于传统的基于规则和基于长期短期记忆的融合模型进行评估的。结果表明，所提出的模型能够聚合从传感和连接源接收的信息，并以提高安全性和机动性的方式为多个 CAV 制定有效的操作变道决策。这样，即使在部分观察和高度动态的混合交通流中，也可以实现单个 CAV 的操作意图。本文提供了实验证据，证明所提出的算法可以显着增强 CAV 操作。所提出的算法可以部署在路边单元或云平台或其他集中控制设施中。所提出的模型是相对于传统的基于规则和基于长期短期记忆的融合模型进行评估的。结果表明，所提出的模型能够聚合从传感和连接源接收的信息，并以提高安全性和机动性的方式为多个 CAV 制定有效的操作变道决策。这样，即使在部分观察和高度动态的混合交通流中，也可以实现单个 CAV 的操作意图。本文提供了实验证据，证明所提出的算法可以显着增强 CAV 操作。所提出的算法可以部署在路边单元或云平台或其他集中控制设施中。结果表明，所提出的模型能够聚合从传感和连接源接收的信息，并以提高安全性和机动性的方式为多个 CAV 制定有效的操作变道决策。这样，即使在部分观察和高度动态的混合交通流中，也可以实现单个 CAV 的操作意图。本文提供了实验证据，证明所提出的算法可以显着增强 CAV 操作。所提出的算法可以部署在路边单元或云平台或其他集中控制设施中。结果表明，所提出的模型能够聚合从传感和连接源接收的信息，并以提高安全性和机动性的方式为多个 CAV 制定有效的操作变道决策。这样，即使在部分观察和高度动态的混合交通流中，也可以实现单个 CAV 的操作意图。本文提供了实验证据，证明所提出的算法可以显着增强 CAV 操作。所提出的算法可以部署在路边单元或云平台或其他集中控制设施中。即使在部分观察和高度动态的混合交通流中，单个 CAV 的操作意图也可以实现。本文提供了实验证据，证明所提出的算法可以显着增强 CAV 操作。所提出的算法可以部署在路边单元或云平台或其他集中控制设施中。即使在部分观察和高度动态的混合交通流中，单个 CAV 的操作意图也可以实现。本文提供了实验证据，证明所提出的算法可以显着增强 CAV 操作。所提出的算法可以部署在路边单元或云平台或其他集中控制设施中。