In studies of event‐related brain potentials (ERPs), difference scores between conditions in a task are frequently used to isolate neural activity for use as a dependent or independent variable. Adequate score reliability is a prerequisite for studies examining relationships between ERPs and external correlates, but there is no extensive treatment on the suitability of the various available approaches to estimating difference score reliability that focus on ERP research. In the present study, we provide formulas from classical test theory and generalizability theory for estimating the internal consistency of subtraction‐based and residualized difference scores. These formulas are then applied to error‐related negativity (ERN) and reward positivity (RewP) difference scores from the same sample of 117 participants. Analyses demonstrate that ERN difference scores can be reliable, which supports their use in studies of individual differences. However, RewP difference scores yielded poor reliability due to the high correlation between the constituent reward and non‐reward ERPs. Findings emphasize that difference score reliability largely depends on the internal consistency of constituent scores and the correlation between those scores. Furthermore, generalizability theory yields more suitable estimates of internal consistency for subtraction‐based difference scores than classical test theory. We conclude that ERP difference scores can show adequate reliability and be useful for isolating neural activity in studies of individual differences.

中文翻译：

---

评估基于减法和残差分数的内部一致性：对事件相关电位的心理测量可靠性分析的考虑

在事件相关脑电位 (ERP) 的研究中，任务中条件之间的差异分数经常用于隔离神经活动，以用作因变量或自变量。足够的分数可靠性是研究 ERP 和外部相关性之间关系的先决条件，但没有广泛处理各种可用方法的适用性，以估计专注于 ERP 研究的差异分数可靠性。在本研究中，我们提供了来自经典测试理论和泛化理论的公式，用于估计基于减法和残差分数的内部一致性。然后将这些公式应用于来自 117 名参与者的同一样本的错误相关负性 (ERN) 和奖励正性 (RewP) 差异分数。分析表明 ERN 差异分数是可靠的，这支持它们在个体差异研究中的使用。然而，由于构成奖励和非奖励 ERP 之间的高度相关性，RewP 差异分数的可靠性较差。研究结果强调差异分数的可靠性在很大程度上取决于构成分数的内部一致性以及这些分数之间的相关性。此外，与经典测试理论相比，泛化理论对基于减法的差异分数的内部一致性产生了更合适的估计。我们得出结论，ERP 差异评分可以显示出足够的可靠性，并且可用于在个体差异研究中隔离神经活动。由于构成奖励和非奖励 ERP 之间的高度相关性，RewP 差异得分的可靠性较差。研究结果强调差异分数的可靠性在很大程度上取决于构成分数的内部一致性以及这些分数之间的相关性。此外，与经典测试理论相比，泛化理论对基于减法的差异分数的内部一致性产生了更合适的估计。我们得出结论，ERP 差异评分可以显示出足够的可靠性，并且可用于在个体差异研究中隔离神经活动。由于构成奖励和非奖励 ERP 之间的高度相关性，RewP 差异得分的可靠性较差。研究结果强调差异分数的可靠性在很大程度上取决于构成分数的内部一致性以及这些分数之间的相关性。此外，与经典测试理论相比，泛化理论对基于减法的差异分数的内部一致性产生了更合适的估计。我们得出结论，ERP 差异评分可以显示出足够的可靠性，并且可用于在个体差异研究中隔离神经活动。研究结果强调差异分数的可靠性在很大程度上取决于构成分数的内部一致性以及这些分数之间的相关性。此外，与经典测试理论相比，泛化理论对基于减法的差异分数的内部一致性产生了更合适的估计。我们得出结论，ERP 差异评分可以显示出足够的可靠性，并且可用于在个体差异研究中隔离神经活动。研究结果强调差异分数的可靠性在很大程度上取决于构成分数的内部一致性以及这些分数之间的相关性。此外，与经典测试理论相比，泛化理论对基于减法的差异分数的内部一致性产生了更合适的估计。我们得出结论，ERP 差异评分可以显示出足够的可靠性，并且可用于在个体差异研究中隔离神经活动。