One of the more principled methods of performing model selection is via Bayes factors. However, calculating Bayes factors requires marginal likelihoods, which are integrals over the entire parameter space, making estimation of Bayes factors for models with more than a few parameters a significant computational challenge. Here, we provide a tutorial review of two Monte Carlo techniques rarely used in psychology that efficiently compute marginal likelihoods: thermodynamic integration (Friel & Pettitt, 2008; Lartillot & Philippe, 2006) and steppingstone sampling (Xie, Lewis, Fan, Kuo, & Chen, 2011). The methods are general and can be easily implemented in existing MCMC code; we provide both the details for implementation and associated R code for the interested reader. While Bayesian toolkits implementing standard statistical analyses (e.g., JASP Team, 2017; Morey & Rouder, 2015) often compute Bayes factors for the researcher, those using Bayesian approaches to evaluate cognitive models are usually left to compute Bayes factors for themselves. Here, we provide examples of the methods by computing marginal likelihoods for a moderately complex model of choice response time, the Linear Ballistic Accumulator model (Brown & Heathcote, 2008), and compare them to findings of Evans and Brown (2017), who used a brute force technique. We then present a derivation of TI and SS within a hierarchical framework, provide results of a model recovery case study using hierarchical models, and show an application to empirical data. A companion R package is available at the Open Science Framework: https://osf.io/jpnb4.

中文翻译：

---

估计贝叶斯因子的热力学积分和踏脚石采样方法：教程

执行模型选择的一种更有原则的方法是通过贝叶斯因子。然而，计算贝叶斯因子需要边际似然，这是整个参数空间的积分，这使得具有多个参数的模型的贝叶斯因子估计成为一项重大的计算挑战。在这里，我们提供了对心理学中很少使用的两种有效计算边际似然的蒙特卡罗技术的教程回顾：热力学积分（Friel & Pettitt，2008 年；Lartillot & Philippe，2006 年）和踏脚石抽样（Xie、Lewis、Fan、Kuo 和陈，2011）。这些方法是通用的，可以很容易地在现有的 MCMC 代码中实现；我们为感兴趣的读者提供了实现细节和相关的 R 代码。虽然贝叶斯工具包实施标准统计分析（例如 g.，JASP 团队，2017 年；Morey & Rouder, 2015) 经常为研究人员计算贝叶斯因子，那些使用贝叶斯方法评估认知模型的人通常需要自己计算贝叶斯因子。在这里，我们通过计算中等复杂的选择响应时间模型的边际似然来提供这些方法的示例，即线性弹道累加器模型（Brown & Heathcote，2008 年），并将它们与 Evans 和 Brown（2017 年）的发现进行比较，他们使用一种蛮力技术。然后，我们在分层框架内展示 TI 和 SS 的推导，提供使用分层模型的模型恢复案例研究的结果，并展示对经验数据的应用。开放科学框架中提供了一个配套的 R 包：https://osf.io/jpnb4。2015）经常为研究人员计算贝叶斯因子，那些使用贝叶斯方法来评估认知模型的人通常需要自己计算贝叶斯因子。在这里，我们通过计算中等复杂的选择响应时间模型的边际似然来提供这些方法的示例，即线性弹道累加器模型（Brown & Heathcote，2008 年），并将它们与 Evans 和 Brown（2017 年）的发现进行比较，他们使用一种蛮力技术。然后，我们在分层框架内展示 TI 和 SS 的推导，提供使用分层模型的模型恢复案例研究的结果，并展示对经验数据的应用。开放科学框架中提供了一个配套的 R 包：https://osf.io/jpnb4。2015）经常为研究人员计算贝叶斯因子，那些使用贝叶斯方法来评估认知模型的人通常需要自己计算贝叶斯因子。在这里，我们通过计算中等复杂的选择响应时间模型的边际似然来提供这些方法的示例，即线性弹道累加器模型（Brown & Heathcote，2008 年），并将它们与 Evans 和 Brown（2017 年）的发现进行比较，他们使用一种蛮力技术。然后，我们在分层框架内展示 TI 和 SS 的推导，提供使用分层模型的模型恢复案例研究的结果，并展示对经验数据的应用。开放科学框架中提供了一个配套的 R 包：https://osf.io/jpnb4。那些使用贝叶斯方法来评估认知模型的人通常需要自己计算贝叶斯因子。在这里，我们通过计算中等复杂的选择响应时间模型的边际似然来提供这些方法的示例，即线性弹道累加器模型（Brown & Heathcote，2008 年），并将它们与 Evans 和 Brown（2017 年）的发现进行比较，他们使用一种蛮力技术。然后，我们在分层框架内展示 TI 和 SS 的推导，提供使用分层模型的模型恢复案例研究的结果，并展示对经验数据的应用。开放科学框架中提供了一个配套的 R 包：https://osf.io/jpnb4。那些使用贝叶斯方法来评估认知模型的人通常需要自己计算贝叶斯因子。在这里，我们通过计算中等复杂的选择响应时间模型的边际似然来提供这些方法的示例，即线性弹道累加器模型（Brown & Heathcote，2008 年），并将它们与 Evans 和 Brown（2017 年）的发现进行比较，他们使用一种蛮力技术。然后，我们在分层框架内展示 TI 和 SS 的推导，提供使用分层模型的模型恢复案例研究的结果，并展示对经验数据的应用。开放科学框架中提供了一个配套的 R 包：https://osf.io/jpnb4。线性弹道累加器模型（Brown & Heathcote，2008 年），并将其与使用蛮力技术的 Evans 和 Brown（2017 年）的发现进行比较。然后，我们在分层框架内展示 TI 和 SS 的推导，提供使用分层模型的模型恢复案例研究的结果，并展示对经验数据的应用。开放科学框架中提供了一个配套的 R 包：https://osf.io/jpnb4。线性弹道累加器模型（Brown & Heathcote，2008 年），并将其与使用蛮力技术的 Evans 和 Brown（2017 年）的发现进行比较。然后，我们在分层框架内展示 TI 和 SS 的推导，提供使用分层模型的模型恢复案例研究的结果，并展示对经验数据的应用。开放科学框架中提供了一个配套的 R 包：https://osf.io/jpnb4。