Experiments in psychology often target hypothetical constructs to test some causal hypothesis or theory. In light of this goal, it is pertinent to use a manipulation that actually changes the focal hypothetical construct, and only that construct. In assessing whether such manipulation “success” can be assumed, researchers often include manipulation validity checks in their designs—a measure of the focal construct which should be responsive to the manipulation. One interpretation of a positive manipulation check is that it lends credence to a particular causal interpretation of a phenomenon. Scrutinizing the results of such manipulation checks supposedly enables a more stringent test of a causal hypothesis. This paper submits that manipulation checks do not improve our inferences to causal explanations, but may in practice result in weaker hypothesis tests. Rather than being useful, manipulation checks are at best uninformative, but more likely compromise the appraisal of a causal hypothesis. The second half of this paper advocates four methodological heuristics, offered as alternatives to manipulation validity checks, to more severely test causal hypotheses. The heuristics call for a burgeoning focus on (a) assessing the specificity of manipulations, (b) evaluating theoretical risk, (c) attempts to cast doubt on alternatives, and (d) appraising the relative merits of explanations. I conclude that rather than relying on manipulation checks as a ‘Band-Aid’ method to alleviate validity concerns, inferential rigor can be improved by virtue of these heuristics.

心理学实验通常针对假设结构来测试一些因果假设或理论。根据这个目标，使用一种实际改变焦点假设结构的操作是相关的，并且只改变那个结构。在评估是否可以假设这种操作“成功”时，研究人员通常在他们的设计中包括操作有效性检查——衡量应该对操作做出响应的焦点结构。对积极操纵检查的一种解释是，它为现象的特定因果解释提供了可信度。据推测，仔细检查此类操作检查的结果可以对因果假设进行更严格的测试。这篇论文提出，操纵检查并不能改善我们对因果解释的推断，但在实践中可能会导致较弱的假设检验。操纵检查充其量是无用的，而不是有用的，但更有可能损害对因果假设的评估。本文的后半部分提倡四种方法启发式，作为操作有效性检查的替代方案，以更严格地测试因果假设。启发式方法要求迅速关注 (a) 评估操作的特异性，(b) 评估理论风险，(c) 试图对替代方案产生怀疑，以及 (d) 评估解释的相对优点。我得出的结论是，与其依靠操纵检查作为一种“创可贴”方法来缓解有效性问题，还可以通过这些启发式方法来提高推理的严谨性。但更有可能损害对因果假设的评估。本文的后半部分提倡四种方法论启发式方法，作为操作有效性检查的替代方法，以更严格地测试因果假设。启发式方法要求迅速关注 (a) 评估操作的特异性，(b) 评估理论风险，(c) 试图对替代方案产生怀疑，以及 (d) 评估解释的相对优点。我得出的结论是，与其依靠操纵检查作为一种“创可贴”方法来缓解有效性问题，还可以通过这些启发式方法来提高推理的严谨性。但更有可能损害对因果假设的评估。本文的后半部分提倡四种方法启发式，作为操作有效性检查的替代方案，以更严格地测试因果假设。启发式方法要求迅速关注 (a) 评估操作的特异性，(b) 评估理论风险，(c) 试图对替代方案产生怀疑，以及 (d) 评估解释的相对优点。我得出的结论是，与其依靠操纵检查作为一种“创可贴”方法来缓解有效性问题，还可以通过这些启发式方法来提高推理的严谨性。更严格地检验因果假设。启发式方法要求迅速关注 (a) 评估操作的特异性，(b) 评估理论风险，(c) 试图对替代方案产生怀疑，以及 (d) 评估解释的相对优点。我得出的结论是，与其依靠操纵检查作为一种“创可贴”方法来缓解有效性问题，还可以通过这些启发式方法来提高推理的严谨性。更严格地检验因果假设。启发式方法要求迅速关注 (a) 评估操作的特异性，(b) 评估理论风险，(c) 试图对替代方案产生怀疑，以及 (d) 评估解释的相对优点。我得出的结论是，与其依靠操纵检查作为一种“创可贴”方法来缓解有效性问题，还可以通过这些启发式方法来提高推理的严谨性。