We examined the evidence for heterogeneity (of effect sizes) when only minor changes to sample population and settings were made between studies and explored the association between heterogeneity and average effect size in a sample of 68 meta-analyses from 13 preregistered multilab direct replication projects in social and cognitive psychology. Among the many examined effects, examples include the Stroop effect, the "verbal overshadowing" effect, and various priming effects such as "anchoring" effects. We found limited heterogeneity; 48/68 (71%) meta-analyses had nonsignificant heterogeneity, and most (49/68; 72%) were most likely to have zero to small heterogeneity. Power to detect small heterogeneity (as defined by Higgins, Thompson, Deeks, & Altman, 2003) was low for all projects (mean 43%), but good to excellent for medium and large heterogeneity. Our findings thus show little evidence of widespread heterogeneity in direct replication studies in social and cognitive psychology, suggesting that minor changes in sample population and settings are unlikely to affect research outcomes in these fields of psychology. We also found strong correlations between observed average effect sizes (standardized mean differences and log odds ratios) and heterogeneity in our sample. Our results suggest that heterogeneity and moderation of effects is unlikely for a 0 average true effect size, but increasingly likely for larger average true effect size. (PsycInfo Database Record (c) 2020 APA, all rights reserved).

中文翻译：

---

心理学中直接复制的异质性及其与效应大小的关系。

我们在研究之间仅对样本群体和设置进行了微小更改时，检查了异质性（影响大小）的证据，并在来自13个预先注册的多实验室直接复制项目的68个荟萃分析的样本中，探讨了异质性与平均影响大小之间的关联。社会和认知心理学。在许多已检查的效果中，示例包括Stroop效果，“语言遮盖”效果以及各种启动效果，例如“锚定”效果。我们发现异质性有限；48/68（71％）的荟萃分析具有不显着的异质性，并且大多数（49/68; 72％）最有可能具有零到小的异质性。在所有项目中，检测小型异质性的能力都很低（由Higgins，Thompson，Deeks和Altman定义，2003年）（平均43％），但对于中型和大型异质性来说，则从优到优。因此，我们的发现几乎没有证据表明在社会和认知心理学的直接复制研究中存在广泛的异质性，这表明样本人口和环境的微小变化不太可能影响这些心理学领域的研究成果。我们还发现样本中观察到的平均效应大小（标准化均值差异和对数优势比）与异质性之间存在很强的相关性。我们的研究结果表明，对于平均真实效果大小为0的情况，效果的异质性和适度性不太可能，但对于较大的平均真实效果大小，其可能性越来越大。（PsycInfo数据库记录（c）2020 APA，保留所有权利）。因此，我们的发现几乎没有证据表明在社会和认知心理学的直接复制研究中存在广泛的异质性，这表明样本人口和环境的微小变化不太可能影响这些心理学领域的研究成果。我们还发现样本中观察到的平均效应大小（标准化均值差异和对数比值比）与异质性之间存在很强的相关性。我们的结果表明，对于平均真实效果大小为0的效果，异质性和适度性不太可能，但对于较大的平均真实效果大小，其可能性越来越大。（PsycInfo数据库记录（c）2020 APA，保留所有权利）。因此，我们的发现几乎没有证据表明在社会和认知心理学的直接复制研究中存在广泛的异质性，这表明样本人口和环境的微小变化不太可能影响这些心理学领域的研究成果。我们还发现样本中观察到的平均效应大小（标准化均值差异和对数优势比）与异质性之间存在很强的相关性。我们的结果表明，对于平均真实效果大小为0的效果，异质性和适度性不太可能，但对于较大的平均真实效果大小，其可能性越来越大。（PsycInfo数据库记录（c）2020 APA，保留所有权利）。我们还发现样本中观察到的平均效应大小（标准化均值差异和对数优势比）与异质性之间存在很强的相关性。我们的结果表明，对于平均真实效果大小为0的效果，异质性和适度性不太可能，但对于较大的平均真实效果大小，其可能性越来越大。（PsycInfo数据库记录（c）2020 APA，保留所有权利）。我们还发现样本中观察到的平均效应大小（标准化均值差异和对数优势比）与异质性之间存在很强的相关性。我们的结果表明，对于平均真实效果大小为0的效果，异质性和适度性不太可能，但对于较大的平均真实效果大小，其可能性越来越大。（PsycInfo数据库记录（c）2020 APA，保留所有权利）。