We propose a novel approach to the statistical analysis of simulation models and, especially, agent-based models (ABMs). Our main goal is to provide a fully automated and model-independent tool-kit to inspect simulations and perform counterfactual analysis. Our approach: (i) is easy-to-use by the modeller, (ii) improves reproducibility of results, (iii) optimizes running time given the modeller's machine, (iv) automatically chooses the number of required simulations and simulation steps to reach user-specified statistical confidence, and (v) automatically performs a variety of statistical tests. In particular, our framework is designed to distinguish the transient dynamics of the model from its steady-state behaviour (if any), estimate properties of the model in both "phases", and provide indications on the ergodic (or non-ergodic) nature of the simulated processes -- which, in turns allows one to gauge the reliability of a steady-state analysis. Estimates are equipped with statistical guarantees, allowing for robust comparisons across computational experiments. To demonstrate the effectiveness of our approach, we apply it to two models from the literature: a large scale macro-financial ABM and a small scale prediction market model. Compared to prior analyses of these models, we obtain new insights and we are able to identify and fix some erroneous conclusions.

中文翻译：

---

基于经济主体的模型的自动和分布式统计分析

我们提出了一种对仿真模型，尤其是基于代理的模型（ABM）进行统计分析的新颖方法。我们的主要目标是提供一个完全自动化且独立于模型的工具包，以检查仿真并执行反事实分析。我们的方法：（i）建模者易于使用，（ii）提高结果的可重复性，（iii）在建模者的机器上优化运行时间，（iv）自动选择所需的仿真次数和仿真步骤用户指定的统计置信度，并且（v）自动执行各种统计测试。特别是，我们的框架旨在将模型的瞬态动力学与稳态行为（如果有）区分开来，在两个“阶段”中估算模型的属性，并提供关于模拟过程的遍历（或非遍历）性质的指示-进而使人们能够评估稳态分析的可靠性。估算值配有统计保证，可以在计算实验之间进行可靠的比较。为了证明我们的方法的有效性，我们将其应用于文献中的两个模型：大规模的宏观金融ABM和小规模的预测市场模型。与这些模型的先前分析相比，我们获得了新的见解，并且能够识别和纠正一些错误的结论。为了证明我们方法的有效性，我们将其应用于文献中的两个模型：大规模宏观金融ABM和小规模预测市场模型。与这些模型的先前分析相比，我们获得了新的见解，并且能够识别和纠正一些错误的结论。为了证明我们方法的有效性，我们将其应用于文献中的两个模型：大规模宏观金融ABM和小规模预测市场模型。与这些模型的先前分析相比，我们获得了新的见解，并且能够识别和纠正一些错误的结论。