We investigated the reproducibility of the major statistical conclusions drawn in 46 articles published in 2012 in three APA journals. After having identified 232 key statistical claims, we tried to reproduce, for each claim, the test statistic, its degrees of freedom, and the corresponding p value, starting from the raw data that were provided by the authors and closely following the Method section in the article. Out of the 232 claims, we were able to successfully reproduce 163 (70%), 18 of which only by deviating from the article's analytical description. Thirteen (7%) of the 185 claims deemed significant by the authors are no longer so. The reproduction successes were often the result of cumbersome and time-consuming trial-and-error work, suggesting that APA style reporting in conjunction with raw data makes numerical verification at least hard, if not impossible. This article discusses the types of mistakes we could identify and the tediousness of our reproduction efforts in the light of a newly developed taxonomy for reproducibility. We then link our findings with other findings of empirical research on this topic, give practical recommendations on how to achieve reproducibility, and discuss the challenges of large-scale reproducibility checks as well as promising ideas that could considerably increase the reproducibility of psychological research. (PsycInfo Database Record (c) 2021 APA, all rights reserved).

中文翻译：

---

心理学研究中统计结果的可重复性：使用未发表的原始数据进行的调查。

我们调查了 2012 年发表在三个 APA 期刊上的 46 篇文章中得出的主要统计结论的可重复性。在确定了 232 个关键的统计声明后，我们尝试从作者提供的原始数据开始，并严格遵循第文章。在 232 项声明中，我们能够成功复制 163 项 (70%)，其中 18 项只是由于偏离了文章的分析描述。在作者认为重要的 185 项索赔中，有 13 项 (7%) 不再如此。复制成功往往是繁琐耗时的试错工作的结果，建议将 APA 风格的报告与原始数据结合起来，即使不是不可能，也至少很难进行数值验证。本文根据新开发的可重复性分类法讨论了我们可以识别的错误类型以及我们的重复工作的繁琐程度。然后，我们将我们的发现与该主题的其他实证研究结果联系起来，就如何实现可重复性提出实用建议，并讨论大规模可重复性检查的挑战以及可以大大提高心理学研究可重复性的有前途的想法。（PsycInfo 数据库记录 (c) 2021 APA，保留所有权利）。本文根据新开发的可重复性分类法讨论了我们可以识别的错误类型以及我们的重复工作的繁琐程度。然后，我们将我们的发现与该主题的其他实证研究结果联系起来，就如何实现可重复性提出实用建议，并讨论大规模可重复性检查的挑战以及可以大大提高心理学研究可重复性的有前途的想法。（PsycInfo 数据库记录 (c) 2021 APA，保留所有权利）。本文根据新开发的可重复性分类法讨论了我们可以识别的错误类型以及我们的重复工作的繁琐程度。然后，我们将我们的发现与该主题的其他实证研究结果联系起来，就如何实现可重复性提出实用建议，并讨论大规模可重复性检查的挑战以及可以大大提高心理学研究可重复性的有前途的想法。（PsycInfo 数据库记录 (c) 2021 APA，保留所有权利）。并讨论大规模可重复性检查的挑战以及可以显着提高心理学研究可重复性的有前途的想法。（PsycInfo 数据库记录 (c) 2021 APA，保留所有权利）。并讨论大规模可重复性检查的挑战以及可以显着提高心理学研究可重复性的有前途的想法。（PsycInfo 数据库记录 (c) 2021 APA，保留所有权利）。