We propose an adversarial, time-varying test-synthesis procedure for safety-critical systems without requiring specific knowledge of the underlying controller steering the system. From a broader test and evaluation context, determination of difficult tests of system behavior is important as these tests would elucidate problematic system phenomena before these mistakes can engender problematic outcomes, e.g. loss of human life in autonomous cars, costly failures for airplane systems, etc. Our approach builds on existing, simulation-based work in the test and evaluation literature by offering a controller-agnostic test-synthesis procedure that provides a series of benchmark tests with which to determine controller reliability. To achieve this, our approach codifies the system objective as a timed reach-avoid specification. Then, by coupling control barrier functions with this class of specifications, we construct an instantaneous difficulty metric whose minimizer corresponds to the most difficult test at that system state. We use this instantaneous difficulty metric in a game-theoretic fashion, to produce an adversarial, time-varying test-synthesis procedure that does not require specific knowledge of the system's controller, but can still provably identify realizable and maximally difficult tests of system behavior. Finally, we develop this test-synthesis procedure for both continuous and discrete-time systems and showcase our test-synthesis procedure on simulated and hardware examples.

中文翻译：

---

受限时避让规范约束的安全关键系统的基于障碍的测试综合

我们为安全关键系统提出了一种对抗性的、时变的测试综合程序，而无需了解控制系统的底层控制器的具体知识。从更广泛的测试和评估环境来看，确定系统行为的困难测试很重要，因为这些测试将在这些错误导致问题结果之前阐明有问题的系统现象，例如自动驾驶汽车的人员伤亡、飞机系统的代价高昂的故障等。我们的方法建立在测试和评估文献中现有的、基于仿真的工作之上，提供了一个与控制器无关的测试综合程序，该程序提供了一系列基准测试来确定控制器的可靠性。为实现这一目标，我们的方法将系统目标编纂为定时到达避免规范。然后，通过将控制障碍函数与此类规范相结合，我们构建了一个瞬时难度度量，其最小值对应于该系统状态下最困难的测试。我们以博弈论的方式使用这种瞬时难度度量，来产生一个对抗性的、时变的测试综合过程，它不需要系统控制器的特定知识，但仍然可以证明识别可实现的和最大难度的系统行为测试。最后，我们为连续时间和离散时间系统开发了这个测试综合程序，并在模拟和硬件示例上展示了我们的测试综合程序。我们以博弈论的方式使用这种瞬时难度度量，来产生一个对抗性的、时变的测试综合过程，它不需要系统控制器的特定知识，但仍然可以证明识别可实现的和最大难度的系统行为测试。最后，我们为连续时间和离散时间系统开发了这个测试综合程序，并在模拟和硬件示例上展示了我们的测试综合程序。我们以博弈论的方式使用这种瞬时难度度量，来产生一个对抗性的、时变的测试综合过程，它不需要系统控制器的特定知识，但仍然可以证明识别可实现的和最大难度的系统行为测试。最后，我们为连续时间和离散时间系统开发了这个测试综合程序，并在模拟和硬件示例上展示了我们的测试综合程序。