The widescale deployment of Autonomous Vehicles (AV) seems to be imminent despite many safety challenges that are yet to be resolved. It is well known that there are no universally agreed Verification and Validation (VV) methodologies to guarantee absolute safety, which is crucial for the acceptance of this technology. Existing standards focus on deterministic processes where the validation requires only a set of test cases that cover the requirements. Modern autonomous vehicles will undoubtedly include machine learning and probabilistic techniques that require a much more comprehensive testing regime due to the non-deterministic nature of the operating design domain. A rigourous statistical validation process is an essential component required to address this challenge. Most research in this area focuses on evaluating system performance in large scale real-world data gathering exercises (number of miles travelled), or randomised test scenarios in simulation. This paper presents a new approach to compute the statistical characteristics of a system's behaviour by biasing automatically generated test cases towards the worst case scenarios, identifying potential unsafe edge cases.We use reinforcement learning (RL) to learn the behaviours of simulated actors that cause unsafe behaviour measured by the well established RSS safety metric. We demonstrate that by using the method we can more efficiently validate a system using a smaller number of test cases by focusing the simulation towards the worst case scenario, generating edge cases that correspond to unsafe situations.

中文翻译：

---

使用边缘情况进行有效的统计验证以评估高度自动化的车辆

尽管许多安全挑战尚未解决，但自动驾驶汽车 (AV) 的大规模部署似乎迫在眉睫。众所周知，没有普遍认可的验证和验证 (VV) 方法来保证绝对安全，这对于接受这项技术至关重要。现有标准侧重于确定性过程，其中验证只需要一组涵盖需求的测试用例。现代自动驾驶汽车无疑将包括机器学习和概率技术，由于操作设计领域的不确定性，这些技术需要更全面的测试机制。严格的统计验证过程是应对这一挑战所需的重要组成部分。该领域的大多数研究都集中在评估大规模真实世界数据收集练习（行驶的英里数）或模拟中的随机测试场景中的系统性能。本文提出了一种计算系统行为统计特征的新方法，通过将自动生成的测试用例偏向最坏情况，识别潜在的不安全边缘情况。 我们使用强化学习 (RL) 来学习导致不安全的模拟参与者的行为由完善的 RSS 安全指标衡量的行为。我们证明，通过使用该方法，我们可以更有效地使用较少数量的测试用例验证系统，方法是将模拟集中在最坏的情况下，生成与不安全情况相对应的边缘情况。本文提出了一种计算系统行为统计特征的新方法，通过将自动生成的测试用例偏向最坏情况，识别潜在的不安全边缘情况。 我们使用强化学习 (RL) 来学习导致不安全的模拟参与者的行为由完善的 RSS 安全指标衡量的行为。我们证明，通过使用该方法，我们可以更有效地使用较少数量的测试用例验证系统，方法是将模拟集中在最坏的情况下，生成与不安全情况相对应的边缘情况。本文提出了一种计算系统行为统计特征的新方法，通过将自动生成的测试用例偏向最坏情况，识别潜在的不安全边缘情况。 我们使用强化学习 (RL) 来学习导致不安全的模拟参与者的行为由完善的 RSS 安全指标衡量的行为。我们证明，通过使用该方法，我们可以更有效地使用较少数量的测试用例验证系统，方法是将模拟集中在最坏的情况下，生成与不安全情况相对应的边缘情况。我们使用强化学习 (RL) 来学习模拟参与者的行为，这些行为会导致由完善的 RSS 安全指标衡量的不安全行为。我们证明，通过使用该方法，我们可以更有效地使用较少数量的测试用例验证系统，方法是将模拟集中在最坏的情况下，生成与不安全情况相对应的边缘情况。我们使用强化学习 (RL) 来学习模拟参与者的行为，这些行为会导致由完善的 RSS 安全指标衡量的不安全行为。我们证明，通过使用该方法，我们可以更有效地使用较少数量的测试用例验证系统，方法是将模拟集中在最坏的情况下，生成与不安全情况相对应的边缘情况。