Self-driving cars and trucks, autonomous vehicles (AVs), should not be accepted by regulatory bodies and the public until they have much higher confidence in their safety and reliability -- which can most practically and convincingly be achieved by testing. But existing testing methods are inadequate for checking the end-to-end behaviors of AV controllers against complex, real-world corner cases involving interactions with multiple independent agents such as pedestrians and human-driven vehicles. While test-driving AVs on streets and highways fails to capture many rare events, existing simulation-based testing methods mainly focus on simple scenarios and do not scale well for complex driving situations that require sophisticated awareness of the surroundings. To address these limitations, we propose a new fuzz testing technique, called AutoFuzz, which can leverage widely-used AV simulators' API grammars. to generate semantically and temporally valid complex driving scenarios (sequences of scenes). AutoFuzz is guided by a constrained Neural Network (NN) evolutionary search over the API grammar to generate scenarios seeking to find unique traffic violations. Evaluation of our prototype on one state-of-the-art learning-based controller and two rule-based controllers shows that AutoFuzz efficiently finds hundreds of realistic traffic violations resembling real-world crashes. Further, fine-tuning the learning-based controller with the traffic violations found by AutoFuzz successfully reduced the traffic violations found in the new version of the AV controller software.

中文翻译：

---

用于发现自动驾驶车辆交通违规的神经网络引导的进化模糊测试

自动驾驶汽车和卡车、自动驾驶汽车 (AV) 不应被监管机构和公众接受，除非他们对其安全性和可靠性有更高的信心——这可以通过测试最实际和令人信服地实现。但是，现有的测试方法不足以根据复杂的、真实的极端情况检查 AV 控制器的端到端行为，这些情况涉及与多个独立代理（如行人和人类驾驶的车辆）的交互。虽然在街道和高速公路上试驾 AV 未能捕捉到许多罕见的事件，但现有的基于模拟的测试方法主要侧重于简单的场景，并且不能很好地适应需要对周围环境进行复杂感知的复杂驾驶情况。为了解决这些限制，我们提出了一种新的模糊测试技术，称为 AutoFuzz，它可以利用广泛使用的 AV 模拟器的 API 语法。生成语义和时间上有效的复杂驾驶场景（场景序列）。AutoFuzz 受约束神经网络 (NN) 对 API 语法的进化搜索的指导，以生成寻找独特交通违规行为的场景。在一个最先进的基于学习的控制器和两个基于规则的控制器上对我们的原型的评估表明，AutoFuzz 有效地发现了数百个类似于现实世界崩溃的现实交通违规行为。此外，通过 AutoFuzz 发现的交通违规对基于学习的控制器进行微调，成功减少了新版本前级控制器软件中发现的交通违规。生成语义和时间上有效的复杂驾驶场景（场景序列）。AutoFuzz 受约束神经网络 (NN) 对 API 语法的进化搜索的指导，以生成寻找独特交通违规行为的场景。在一个最先进的基于学习的控制器和两个基于规则的控制器上对我们的原型进行评估表明，AutoFuzz 有效地发现了数百个类似于现实世界崩溃的现实交通违规行为。此外，通过 AutoFuzz 发现的交通违规对基于学习的控制器进行微调，成功减少了新版本前级控制器软件中发现的交通违规。生成语义和时间上有效的复杂驾驶场景（场景序列）。AutoFuzz 受约束神经网络 (NN) 对 API 语法的进化搜索的指导，以生成寻找独特交通违规行为的场景。在一个最先进的基于学习的控制器和两个基于规则的控制器上对我们的原型的评估表明，AutoFuzz 有效地发现了数百个类似于现实世界崩溃的现实交通违规行为。此外，通过 AutoFuzz 发现的交通违规对基于学习的控制器进行微调，成功减少了新版本前级控制器软件中发现的交通违规。AutoFuzz 受约束神经网络 (NN) 对 API 语法的进化搜索的指导，以生成寻找独特交通违规行为的场景。在一个最先进的基于学习的控制器和两个基于规则的控制器上对我们的原型进行评估表明，AutoFuzz 有效地发现了数百个类似于现实世界崩溃的现实交通违规行为。此外，通过 AutoFuzz 发现的交通违规对基于学习的控制器进行微调，成功减少了新版本前级控制器软件中发现的交通违规。AutoFuzz 受约束神经网络 (NN) 对 API 语法的进化搜索的指导，以生成寻找独特交通违规行为的场景。在一个最先进的基于学习的控制器和两个基于规则的控制器上对我们的原型的评估表明，AutoFuzz 有效地发现了数百个类似于现实世界崩溃的现实交通违规行为。此外，通过 AutoFuzz 发现的交通违规对基于学习的控制器进行微调，成功减少了新版本前级控制器软件中发现的交通违规。