当前位置: X-MOL 学术Psychological Bulletin › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
The "Goldilocks Zone": (Too) many confidence intervals in tests of mediation just exclude zero.
Psychological Bulletin ( IF 22.4 ) Pub Date : 2020-12-31 , DOI: 10.1037/bul0000315
Martin Götz 1 , Ernest H O'Boyle 2 , Erik Gonzalez-Mulé 2 , George C Banks 3 , Stella S Bollmann 4
Affiliation  

Questionable research practices (QRPs) can occur whenever one result is favored over another, and tests of mediation are no exception. Given mediation's ubiquity and importance to both theory and practice, QRPs in tests of mediation pose a serious threat to the advancement of psychology. We investigate this issue through the introduction of a straightforward means of detecting the presence and magnitude of QRPs in tests of mediation and validate this methodology with a series of sensitivity tests and simulations. We then apply this method to 2,569 tests of mediation published in five leading psychology journals in 2018 and 2019. We find that despite most hypothesized tests of mediation being likely underpowered, most (76%) were nevertheless supported. Furthermore, confidence intervals (CIs) that just barely exclude zero are 3.6 to 4.4 times as prevalent as those CIs that just barely include zero. We also find a number of study- and test-level factors, such as whether the test of mediation was hypothesized, explain both whether the CI excluded zero (odds ratio [OR] = 17.87, p < .001) as well as the CI's proximity to zero (b = .27, p < .001). In addition, other factors, most notably sample size, do predict the CI's proximity to zero (γ = .00, p < .001), but surprisingly do not predict the CI's exclusion of zero (OR = .99, p = .803). We conclude with actionable QRP curtailment strategies so that both, academics and practitioners, can have greater and well-founded confidence in tests of mediation in psychological research. (PsycInfo Database Record (c) 2021 APA, all rights reserved).

中文翻译:

“戈尔德洛克区”:(太多)调解测试中的置信区间只是排除了零。

只要一项结果胜过另一项结果,就会出现可疑的研究实践(QRP),并且对调解的测试也不例外。考虑到调解在理论和实践中的普遍性和重要性,调解测试中的QRP对心理学的发展构成了严重威胁。我们通过引入一种直接的方法来检测此问题,该方法可以检测中介测试中QRP的存在和大小,并通过一系列敏感性测试和模拟来验证此方法。然后,我们将这种方法应用于2018年和2019年在五种领先的心理学期刊上发布的2,569项调解测试。我们发现,尽管大多数假设的调解测试可能功能不足,但大多数(76%)得到了支持。此外,几乎不排除零的置信区间(CI)为3.6到4。是那些几乎不包含零的配置项的4倍。我们还发现了许多研究水平和测试水平的因素,例如是否假设进行了调解测试,可以解释CI是否排除零(优势比[OR] = 17.87,p <.001)以及CI是否为零。接近零(b = .27,p <.001)。此外,其他因素(尤其是样本量)确实可以预测CI接近零(γ= .00,p <.001),但是令人惊讶的是,不能预测CI排除零(OR = .99,p = .803) )。我们以可行的QRP缩减策略作为结束语,以便学者和从业人员都可以对心理研究中的调解测试有更大且有充分根据的信心。(PsycInfo数据库记录(c)2021 APA,保留所有权利)。我们还发现了许多研究水平和测试水平的因素,例如是否假设进行了调解测试,可以解释CI是否排除零(优势比[OR] = 17.87,p <.001)以及CI是否为零。接近零(b = .27,p <.001)。此外,其他因素(尤其是样本量)确实可以预测CI接近零(γ= .00,p <.001),但是令人惊讶的是,不能预测CI排除零(OR = .99,p = .803) )。我们以可行的QRP缩减策略作为结束语,以便学者和从业人员都可以对心理研究中的调解测试有更大且有充分根据的信心。(PsycInfo数据库记录(c)2021 APA,保留所有权利)。我们还发现了许多研究水平和测试水平的因素,例如是否假设进行了调解测试,可以解释CI是否排除零(优势比[OR] = 17.87,p <.001)以及CI是否为零。接近零(b = .27,p <.001)。此外,其他因素(尤其是样本量)确实可以预测CI接近零(γ= .00,p <.001),但是令人惊讶的是,不能预测CI排除零(OR = .99,p = .803) )。我们以可行的QRP缩减策略作为结束语,以便学者和从业人员都可以对心理研究中的调解测试有更大且有充分根据的信心。(PsycInfo数据库记录(c)2021 APA,保留所有权利)。解释CI是否排除零(奇数比[OR] = 17.87,p <.001)以及CI接近零(b = .27,p <.001)。此外,其他因素(尤其是样本量)确实可以预测CI接近零(γ= .00,p <.001),但是令人惊讶的是,不能预测CI排除零(OR = .99,p = .803) )。我们以可行的QRP缩减策略作为结束语,以便学者和从业人员都可以对心理研究中的调解测试有更大且有充分根据的信心。(PsycInfo数据库记录(c)2021 APA,保留所有权利)。解释CI是否排除零(奇数比[OR] = 17.87,p <.001)以及CI接近零(b = .27,p <.001)。此外,其他因素(尤其是样本大小)确实可以预测CI接近零(γ= .00,p <.001),但是令人惊讶地是,它不能预测CI排除零(OR = .99,p = .803)。 )。我们以可行的QRP缩减策略作为结束语,以便学者和从业人员都可以对心理研究中的调解测试有更大且有充分根据的信心。(PsycInfo数据库记录(c)2021 APA,保留所有权利)。但令人惊讶的是,它无法预测CI排除为零(OR = .99,p = .803)。我们以可行的QRP缩减策略作为结束语,以便学者和从业人员都可以对心理研究中的调解测试有更大且有充分根据的信心。(PsycInfo数据库记录(c)2021 APA,保留所有权利)。但令人惊讶的是,它无法预测CI排除为零(OR = .99,p = .803)。我们以可行的QRP缩减策略作为结束语,以便学者和从业人员都可以对心理研究中的调解测试有更大且有充分根据的信心。(PsycInfo数据库记录(c)2021 APA,保留所有权利)。
更新日期:2020-12-31
down
wechat
bug