Abstract

Test-retest reliability is essential to the development and validation of psychometric tools. Here we respond to the article by Karlsen et al. (Applied Neuropsychology: Adult, 2020), reporting test-retest reliability on the Cambridge Neuropsychological Test Automated Battery (CANTAB), with results that are in keeping with prior research on CANTAB and the broader cognitive assessment literature. However, after adopting a high threshold for adequate test-retest reliability, the authors report inadequate reliability for many measures. In this commentary we provide examples of stable, trait-like constructs which we would expect to remain highly consistent across longer time periods, and contrast these with measures which show acute within-subject change in response to contextual or psychological factors. Measures characterized by greater true within-subject variability typically have lower test-retest reliability, requiring adequate powering in research examining group differences and longitudinal change. However, these measures remain sensitive to important clinical and functional outcomes. Setting arbitrarily elevated test-retest reliability thresholds for test adoption in cognitive research limits the pool of available tools and precludes the adoption of many well-established tests showing consistent contextual, diagnostic, and treatment sensitivity. Overall, test–retest reliability must be balanced with other theoretical and practical considerations in study design, including test relevance and sensitivity.

摘要

重测信度对于心理测量工具的开发和验证至关重要。在这里，我们回应 Karlsen 等人的文章。（应用神经心理学：成人，2020 年），报告了剑桥神经心理学测试自动化电池 (CANTAB) 的重测可靠性，其结果与先前对 CANTAB 的研究和更广泛的认知评估文献一致。然而，在对足够的重测可靠性采用高阈值之后，作者报告说许多测量的可靠性不足。在这篇评论中，我们提供了稳定的、类似特质的结构的例子，我们希望这些结构在更长的时间段内保持高度一致，并将这些与显示出受试者内因环境或心理因素而发生剧烈变化的测量值进行对比。以更大的真实受试者内变异性为特征的测量通常具有较低的重测信度，需要在研究中检查组差异和纵向变化有足够的动力。然而，这些措施仍然对重要的临床和功能结果敏感。在认知研究中为测试采用任意设置重测可靠性阈值会限制可用工具的数量，并阻止采用许多显示一致的上下文、诊断和治疗敏感性的成熟测试。总体而言，重测信度必须与研究设计中的其他理论和实践考虑因素相平衡，包括测试相关性和敏感性。在检验群体差异和纵向变化的研究中需要足够的力量。然而，这些措施仍然对重要的临床和功能结果敏感。在认知研究中为测试采用任意设置重测可靠性阈值会限制可用工具的数量，并阻止采用许多显示一致的上下文、诊断和治疗敏感性的成熟测试。总体而言，重测信度必须与研究设计中的其他理论和实践考虑因素相平衡，包括测试相关性和敏感性。在检验群体差异和纵向变化的研究中需要足够的力量。然而，这些措施仍然对重要的临床和功能结果敏感。在认知研究中为测试采用任意设置重测可靠性阈值会限制可用工具的数量，并阻止采用许多显示一致的上下文、诊断和治疗敏感性的成熟测试。总体而言，重测信度必须与研究设计中的其他理论和实践考虑因素相平衡，包括测试相关性和敏感性。在认知研究中为测试采用任意设置重测可靠性阈值会限制可用工具的数量，并阻止采用许多显示一致的上下文、诊断和治疗敏感性的成熟测试。总体而言，重测信度必须与研究设计中的其他理论和实践考虑因素相平衡，包括测试相关性和敏感性。在认知研究中为测试采用任意设置重测可靠性阈值会限制可用工具的数量，并阻止采用许多显示一致的上下文、诊断和治疗敏感性的成熟测试。总体而言，重测信度必须与研究设计中的其他理论和实践考虑因素相平衡，包括测试相关性和敏感性。