Bayesian model selection (BMS) is a statistically rigorous approach to assess the plausibility of competing models. It naturally accounts for uncertainties in models and data. In this study, we discuss the role of measurement noise in BMS deeper than in past literature. We distinguish between four cases, accounting for noise in models and/or data: (1) no-no, (2) no-yes, (3) yes-no, and (4) yes-yes. These cases differ mathematically and philosophically. Only two out of these four cases are logically consistent, and they represent two potentially conflicting research questions: “Which model is best in modeling the pure physics?” (Case 1) and “which model is best in predicting the data-generating process (i.e., physics plus noise)?” (Case 4). If we are interested in the “pure physics question,” we face two practical challenges: First, we would need noise-free data, which is impossible to obtain; and second, the numerical approximation of Bayesian model evidence can be hard when neglecting noise. We discuss how to address both challenges and reveal that a fallback to the easier “data-generation question” as a proxy for the “physics question” is not appropriate. We demonstrate on synthetic scenarios and a real-world hydrogeological case study that the choice of the case has a significant impact on the outcome of posterior model weights, and hence on results of the model ranking, model selection, model averaging, model confusion analysis, and uncertainty quantification. Reality might force us to use a different case than philosophy would suggest, and we provide guidance on how to interpret model probabilities under such conditions.

中文翻译：

---

贝叶斯模型选择中考虑测量噪声的四种方法——以及选择哪一种

贝叶斯模型选择 (BMS) 是一种统计上严格的方法，用于评估竞争模型的合理性。它自然地解释了模型和数据的不确定性。在这项研究中，我们比以往的文献更深入地讨论了测量噪声在 BMS 中的作用。我们区分四种情况，说明模型和/或数据中的噪声：(1) 否-否，(2) 否-是，(3) 是-否，以及 (4) 是-是。这些案例在数学和哲学上都不同。这四个案例中只有两个在逻辑上是一致的，它们代表了两个可能相互矛盾的研究问题：“哪个模型最适合模拟纯物理？” （案例 1）和“哪个模型最能预测数据生成过程（即物理加噪声）？” （案例4）。如果我们对“纯物理问题”感兴趣，我们将面临两个实际挑战：首先，我们需要无噪声数据，这是不可能获得的；其次，当忽略噪声时，贝叶斯模型证据的数值逼近可能很困难。我们讨论了如何应对这两个挑战，并揭示回退到更简单的“数据生成问题”作为“物理问题”的代理是不合适的。我们在合成场景和真实世界的水文地质案例研究中证明，案例的选择对后验模型权重的结果有重大影响，因此对模型排序、模型选择、模型平均、模型混淆分析的结果有显着影响，和不确定性量化。现实可能迫使我们使用与哲学所建议的不同的案例，并且我们提供了有关如何在这种情况下解释模型概率的指导。其次，当忽略噪声时，贝叶斯模型证据的数值逼近可能很困难。我们讨论了如何应对这两个挑战，并揭示回退到更简单的“数据生成问题”作为“物理问题”的代理是不合适的。我们在合成场景和真实世界的水文地质案例研究中证明，案例的选择对后验模型权重的结果有重大影响，因此对模型排序、模型选择、模型平均、模型混淆分析的结果有显着影响，和不确定性量化。现实可能迫使我们使用与哲学所建议的不同的案例，并且我们提供了有关如何在这种情况下解释模型概率的指导。其次，当忽略噪声时，贝叶斯模型证据的数值逼近可能很困难。我们讨论了如何应对这两个挑战，并揭示回退到更简单的“数据生成问题”作为“物理问题”的代理是不合适的。我们在合成场景和真实世界的水文地质案例研究中证明，案例的选择对后验模型权重的结果有重大影响，因此对模型排序、模型选择、模型平均、模型混淆分析的结果有显着影响，和不确定性量化。现实可能迫使我们使用与哲学所建议的不同的案例，并且我们提供了有关如何在这种情况下解释模型概率的指导。我们讨论了如何应对这两个挑战，并揭示回退到更简单的“数据生成问题”作为“物理问题”的代理是不合适的。我们在合成场景和真实世界的水文地质案例研究中证明，案例的选择对后验模型权重的结果有重大影响，因此对模型排序、模型选择、模型平均、模型混淆分析的结果有显着影响，和不确定性量化。现实可能迫使我们使用与哲学所建议的不同的案例，并且我们提供了有关如何在这种情况下解释模型概率的指导。我们讨论了如何应对这两个挑战，并揭示回退到更简单的“数据生成问题”作为“物理问题”的代理是不合适的。我们在合成场景和真实世界的水文地质案例研究中证明，案例的选择对后验模型权重的结果有重大影响，因此对模型排序、模型选择、模型平均、模型混淆分析的结果有显着影响，和不确定性量化。现实可能迫使我们使用与哲学所建议的不同的案例，并且我们提供了有关如何在这种情况下解释模型概率的指导。我们在合成场景和真实世界的水文地质案例研究中证明，案例的选择对后验模型权重的结果有显着影响，因此对模型排序、模型选择、模型平均、模型混淆分析的结果有显着影响，和不确定性量化。现实可能迫使我们使用与哲学所建议的不同的案例，并且我们提供了有关如何在这种情况下解释模型概率的指导。我们在合成场景和真实世界的水文地质案例研究中证明，案例的选择对后验模型权重的结果有重大影响，因此对模型排序、模型选择、模型平均、模型混淆分析的结果有显着影响，和不确定性量化。现实可能迫使我们使用与哲学所建议的不同的案例，并且我们提供了有关如何在这种情况下解释模型概率的指导。