Science depends on trustworthy evidence. Thus, a biased scientific record is of questionable value because it impedes scientific progress, and the public receives advice on the basis of unreliable evidence that has the potential to have far-reaching detrimental consequences. Meta-analysis is a technique that can be used to summarize research evidence. However, meta-analytic effect size estimates may themselves be biased, threatening the validity and usefulness of meta-analyses to promote scientific progress. Here, we offer a large-scale simulation study to elucidate how p-hacking and publication bias distort meta-analytic effect size estimates under a broad array of circumstances that reflect the reality that exists across a variety of research areas. The results revealed that, first, very high levels of publication bias can severely distort the cumulative evidence. Second, p-hacking and publication bias interact: At relatively high and low levels of publication bias, p-hacking does comparatively little harm, but at medium levels of publication bias, p-hacking can considerably contribute to bias, especially when the true effects are very small or are approaching zero. Third, p-hacking can severely increase the rate of false positives. A key implication is that, in addition to preventing p-hacking, policies in research institutions, funding agencies, and scientific journals need to make the prevention of publication bias a top priority to ensure a trustworthy base of evidence. (PsycINFO Database Record (c) 2019 APA, all rights reserved).

中文翻译：

---

p-hacking和发布偏倚相互作用以扭曲荟萃分析的效应量估计。

科学取决于可靠的证据。因此，有偏见的科学记录具有可疑的价值，因为它阻碍了科学进步，并且公众在不可靠的证据基础上接受建议，可能会产生深远的有害后果。荟萃分析是一种可用于总结研究证据的技术。但是，荟萃分析的效果大小估计值本身可能会有偏差，威胁了荟萃分析的有效性和有用性，以促进科学进步。在这里，我们提供了一项大规模的仿真研究，以阐明在广泛的情况下（反映各种研究领域中存在的现实情况），p-hacking和出版偏向如何扭曲元分析效果的大小估算值。结果表明，首先，极高的发布偏见会严重扭曲累积证据。其次，p-hacking和发布偏见是相互影响的：在较高和较低水平的发布偏见下，p-hack的危害相对较小，但在中等水平的发布偏见下，p-hack会大大有助于偏见，尤其是在真正的效果下很小或接近零。第三，p-hack会严重增加误报率。一个关键的含义是，除了防止p-hacking之外，研究机构，资助机构和科学期刊的政策还需要将防止出版偏见作为确保可信赖的证据基础的重中之重。（PsycINFO数据库记录（c）2019 APA，保留所有权利）。在相对较高和较低的发布偏见水平下，p-hack的危害相对较小，但是在中等偏见的发布偏见下，p-hack可以大大有助于偏见，尤其是当实际影响很小或接近于零时。第三，p-hack会严重增加误报率。一个关键的含义是，除了防止p-hacking之外，研究机构，资助机构和科学期刊的政策还必须将防止出版偏见作为确保可信赖的证据基础的重中之重。（PsycINFO数据库记录（c）2019 APA，保留所有权利）。在相对较高和较低的发布偏见水平下，p-hack的危害相对较小，但是在中等偏见的发布偏见下，p-hack可以大大有助于偏见，尤其是当实际影响很小或接近于零时。第三，p-hack会严重增加误报率。一个关键的含义是，除了防止p-hacking之外，研究机构，资助机构和科学期刊的政策还必须将防止出版偏见作为确保可信赖的证据基础的重中之重。（PsycINFO数据库记录（c）2019 APA，保留所有权利）。特别是当真实效果很小或接近于零时。第三，p-hack会严重增加误报率。一个关键的含义是，除了防止p-hacking之外，研究机构，资助机构和科学期刊的政策还必须将防止出版偏见作为确保可信赖的证据基础的重中之重。（PsycINFO数据库记录（c）2019 APA，保留所有权利）。特别是当真实效果很小或接近于零时。第三，p-hack会严重增加误报率。一个关键的含义是，除了防止p-hacking之外，研究机构，资助机构和科学期刊的政策还需要将防止出版偏见作为确保可信赖的证据基础的重中之重。（PsycINFO数据库记录（c）2019 APA，保留所有权利）。