Security attacks on intelligent transportation systems (ITS) may result in life-threatening situations. Combining deep neural networks with reinforcement learning (RL) models called DRL shows promising results when applied to urban Traffic Signal Control (TSC) for adaptive adjustment of traffic light schedules. In this paper, first, we explore the security vulnerabilities of DRL-based TSCs in the presence of adversarial attacks. We investigate the impact of the two distinct threat models with two state-of-the-art adversarial attacks using white-box and black-box settings. The attacks are simulated on different DRL-based TSC algorithms in a single intersection and multiple intersections. The results show that the performance of the DRL learning agent decreases in both adversarial attack models with white-box and black-box settings resulting in higher levels of traffic congestion. After analysing the adversarial attack models, we explored several sequential anomaly detection models. While sequential anomaly detection models minimizes the detection delays, it also achieves lower false alarm rates due to cumulative anomaly inspection. We also proposed an ensemble model that works with all the attack models without any model assumption. The results of anomaly detectors indicates that low-cost ensemble model achieves the best anomaly detection performance in all attack models and DRL settings.

中文翻译：

---

基于深度强化学习 (DRL) 的交通信号控制器中的对抗性攻击和防御

对智能交通系统 (ITS) 的安全攻击可能会导致危及生命的情况。将深度神经网络与称为 DRL 的强化学习 (RL) 模型相结合，在应用于城市交通信号控制 (TSC) 以自适应调整交通灯时间表时显示出有希望的结果。在本文中，首先，我们探讨了存在对抗性攻击时基于 DRL 的 TSC 的安全漏洞。我们通过使用白盒和黑盒设置的两种最先进的对抗性攻击来研究两种不同威胁模型的影响。在单个交叉路口和多个交叉路口，在不同的基于 DRL 的 TSC 算法上模拟攻击。结果表明，在具有白盒和黑盒设置的对抗性攻击模型中，DRL 学习代理的性能下降，导致更高程度的交通拥堵。在分析了对抗性攻击模型之后，我们探索了几种顺序异常检测模型。虽然顺序异常检测模型最大限度地减少了检测延迟，但由于累积异常检测，它还实现了较低的误报率。我们还提出了一个集成模型，该模型适用于所有攻击模型，无需任何模型假设。异常检测器的结果表明，低成本集成模型在所有攻击模型和 DRL 设置中都实现了最佳的异常检测性能。虽然顺序异常检测模型最大限度地减少了检测延迟，但由于累积异常检测，它还实现了较低的误报率。我们还提出了一个集成模型，该模型适用于所有攻击模型，无需任何模型假设。异常检测器的结果表明，低成本集成模型在所有攻击模型和 DRL 设置中都实现了最佳的异常检测性能。虽然顺序异常检测模型最大限度地减少了检测延迟，但由于累积异常检测，它还实现了较低的误报率。我们还提出了一个集成模型，该模型适用于所有攻击模型，无需任何模型假设。异常检测器的结果表明，低成本集成模型在所有攻击模型和 DRL 设置中都实现了最佳的异常检测性能。