The advent of Convolutional Neural Networks (CNNs) has led to its increased application in several domains. One noteworthy application is the perception system for autonomous driving that rely on the predictions from CNNs. On one hand, predicting the learned objects with maximum accuracy is of importance. On the other hand, it is still a challenge to evaluate the reliability of CNN-based perception systems without ground truth information. Such evaluations are of significance for autonomous driving applications. One way to estimate reliability is by evaluating robustness of the detections in the presence of artificial perturbations. However, several existing works on perturbation-based robustness quantification rely on the ground truth labels. Acquiring the ground truth labels is a tedious, expensive and error-prone process. In this work we propose a novel label-free robustness metric for quantifying the robustness of CNN object detectors. We quantify the robustness of the detections to a specific type of input perturbation based on the prediction confidences. In short, we check the sensitivity of the predicted confidences under increased levels of artificial perturbation. Thereby, we avoid the need for ground truth annotations. We perform extensive evaluations on our traffic light detector from autonomous driving applications and on public object detection networks and datasets. The evaluations show that our label-free metric is comparable to the ground truth aided robustness scoring.

卷积神经网络（CNN）的出现导致其在多个领域中的广泛应用。一个值得注意的应用是依赖于CNN的预测的自动驾驶感知系统。一方面，以最大的准确性预测学习到的对象非常重要。另一方面，在没有地面真实信息的情况下评估基于CNN的感知系统的可靠性仍然是一个挑战。这样的评估对于自动驾驶应用具有重要意义。一种估计可靠性的方法是通过在存在人工扰动的情况下评估检测的鲁棒性。但是，基于扰动的鲁棒性量化的一些现有工作依赖于地面真相标签。获取地面真相标签是一个乏味，昂贵且容易出错的过程。在这项工作中，我们提出了一种新颖的无标签鲁棒性度量标准，用于量化CNN对象检测器的鲁棒性。我们根据预测置信度对检测到特定类型输入扰动的鲁棒性进行量化。简而言之，我们在人工扰动增加的情况下检查了预测置信度的敏感性。因此，我们避免了对地面真相注释的需要。我们对自动驾驶应用中的交通信号灯检测器以及公共物体检测网络和数据集进行广泛的评估。评估表明，我们的无标签度量可与地面事实辅助鲁棒性评分相媲美。我们根据预测置信度对检测到特定类型输入扰动的鲁棒性进行量化。简而言之，我们检查了在人工扰动增加的情况下预测置信度的敏感性。因此，我们避免了对地面真相注释的需要。我们对自动驾驶应用中的交通信号灯检测器以及公共物体检测网络和数据集进行广泛的评估。评估表明，我们的无标签度量可与地面事实辅助鲁棒性评分相媲美。我们根据预测置信度对检测到特定类型输入扰动的鲁棒性进行量化。简而言之，我们检查了在人工扰动增加的情况下预测置信度的敏感性。因此，我们避免了对地面真相注释的需要。我们对自动驾驶应用中的交通信号灯检测器以及公共物体检测网络和数据集进行广泛的评估。评估表明，我们的无标签度量可与地面事实辅助鲁棒性评分相媲美。我们对自动驾驶应用中的交通信号灯检测器以及公共物体检测网络和数据集进行广泛的评估。评估表明，我们的无标签度量可与地面事实辅助鲁棒性评分相媲美。我们对自动驾驶应用中的交通信号灯检测器以及公共物体检测网络和数据集进行广泛的评估。评估表明，我们的无标签度量可与地面事实辅助鲁棒性评分相媲美。