This work presents an executable model-based testing framework for probabilistic systems with non-determinism. We provide algorithms to automatically generate, execute and evaluate test cases from a probabilistic requirements specification. The framework connects input/output conformance-theory with hypothesis testing: our algorithms handle functional correctness, while statistical methods assess, if the frequencies observed during the test process correspond to the probabilities specified in the requirements. At the core of our work lies the conformance relation for probabilistic input/output conformance, enabling us to pin down exactly when an implementation should pass a test case. We establish the correctness of our framework alongside this relation as soundness and completeness; Soundness states that a correct implementation indeed passes a test suite, while completeness states that the framework is powerful enough to discover each deviation from a specification up to arbitrary precision for a sufficiently large sample size. The underlying models are probabilistic automata that allow invisible internal progress. We incorporate divergent systems into our framework by phrasing four rules that each well-formed system needs to adhere to. This enables us to treat divergence as the absence of output, or quiescence, which is a well-studied formalism in model-based testing. Lastly, we illustrate the application of our framework on three case studies.

中文翻译：

---

概率系统的基于模型的测试

这项工作为具有非确定性的概率系统提供了一个基于模型的可执行测试框架。我们提供算法来根据概率需求规范自动生成、执行和评估测试用例。该框架将输入/输出一致性理论与假设检验联系起来：我们的算法处理功能正确性，而统计方法评估在测试过程中观察到的频率是否符合要求中指定的概率。我们工作的核心是概率输入/输出一致性的一致性关系，使我们能够准确地确定实现何时应该通过测试用例。我们将框架的正确性与这种关系建立为健全性和完整性；健全性表明正确的实现确实通过了测试套件，而完整性表明框架足够强大，可以发现与规范的每一个偏差，直到足够大的样本量的任意精度。底层模型是允许无形内部进展的概率自动机。我们通过制定每个格式良好的系统需要遵守的四个规则来将不同的系统纳入我们的框架。这使我们能够将分歧视为没有输出或静止，这是基于模型的测试中经过充分研究的形式主义。最后，我们说明了我们的框架在三个案例研究中的应用。而完整性则表明该框架足够强大，可以在足够大的样本量下发现从规范到任意精度的每个偏差。底层模型是允许无形内部进展的概率自动机。我们通过制定每个格式良好的系统需要遵守的四个规则来将不同的系统纳入我们的框架。这使我们能够将分歧视为没有输出或静止，这是基于模型的测试中经过充分研究的形式主义。最后，我们说明了我们的框架在三个案例研究中的应用。而完整性则表明该框架足够强大，可以在足够大的样本量下发现从规范到任意精度的每个偏差。底层模型是允许无形内部进展的概率自动机。我们通过制定每个结构良好的系统需要遵守的四个规则来将不同的系统整合到我们的框架中。这使我们能够将分歧视为没有输出或静止，这是基于模型的测试中经过充分研究的形式主义。最后，我们说明了我们的框架在三个案例研究中的应用。这使我们能够将分歧视为没有输出或静止，这是基于模型的测试中经过充分研究的形式主义。最后，我们说明了我们的框架在三个案例研究中的应用。这使我们能够将分歧视为没有输出或静止，这是基于模型的测试中经过充分研究的形式主义。最后，我们说明了我们的框架在三个案例研究中的应用。