Self-driving cars over the last decade have achieved significant progress like driving millions of miles without any human intervention. However, behavioral safety in applying deep-neural-network-based (DNN based) systems for self-driving cars could not be guaranteed. Several real-world accidents involving self-driving cars have already happened, some of which have led to fatal collisions. In this paper, we present a novel and automated technique for verifying steering angle safety for self-driving cars. The technique is based on deep learning verification (DLV), which is an automated verification framework for safety of image classification neural networks. We extend DLV by leveraging neuron coverage and slack relationship to solve the judgement problem of predicted behaviors, and thus, to achieve verification of steering angle safety for self-driving cars. We evaluate our technique on the NVIDIA’s end-to-end self-driving architecture, which is a crucial ingredient in many modern self-driving cars. Experimental results show that our technique can successfully find adversarial misclassifications (i.e., incorrect steering decisions) within given regions if they exist. Therefore, we can achieve safety verification (if no misclassification is found for all DNN layers, in which case the network can be said to be stable or reliable w.r.t. steering decisions) or falsification (in which case the adversarial examples can be used to fine-tune the network).

中文翻译：

---

SDLV：自动驾驶汽车转向角安全性验证

在过去十年中，自动驾驶汽车取得了重大进展，例如无需任何人工干预即可行驶数百万英里。然而，无法保证将基于深度神经网络（基于 DNN）的系统应用于自动驾驶汽车的行为安全。现实世界中已经发生了几起涉及自动驾驶汽车的事故，其中一些已经导致致命的碰撞。在本文中，我们提出了一种用于验证自动驾驶汽车转向角安全性的新型自动化技术。该技术基于深度学习验证 (DLV)，这是一种用于图像分类神经网络安全性的自动验证框架。我们通过利用神经元覆盖和松弛关系来扩展 DLV 来解决预测行为的判断问题，因此，实现自动驾驶汽车转向角安全性验证。我们在 NVIDIA 的端到端自动驾驶架构上评估我们的技术，这是许多现代自动驾驶汽车的关键组成部分。实验结果表明，如果存在的话，我们的技术可以成功地在给定区域内找到对抗性错误分类（即不正确的转向决策）。因此，我们可以实现安全验证（如果所有 DNN 层都没有发现错误分类，在这种情况下，网络可以说是稳定或可靠的转向决策）或伪造（在这种情况下，对抗性示例可以用于精细处理）调整网络）。实验结果表明，如果存在的话，我们的技术可以成功地在给定区域内找到对抗性错误分类（即不正确的转向决策）。因此，我们可以实现安全验证（如果所有 DNN 层都没有发现错误分类，在这种情况下，网络可以说是稳定或可靠的转向决策）或伪造（在这种情况下，对抗性示例可以用于精细处理）调整网络）。实验结果表明，如果存在的话，我们的技术可以成功地在给定区域内找到对抗性错误分类（即不正确的转向决策）。因此，我们可以实现安全验证（如果所有 DNN 层都没有发现错误分类，在这种情况下，网络可以说是稳定或可靠的转向决策）或伪造（在这种情况下，对抗性示例可以用于精细处理）调整网络）。