当前位置: X-MOL 学术Applied Psychological Measurement › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Using Machine Learning Methods to Develop a Short Tree-Based Adaptive Classification Test: Case Study With a High-Dimensional Item Pool and Imbalanced Data
Applied Psychological Measurement ( IF 1.0 ) Pub Date : 2020-06-18 , DOI: 10.1177/0146621620931198
Yi Zheng 1 , Hyunjung Cheon 1 , Charles M Katz 1
Affiliation  

This study explores advanced techniques in machine learning to develop a short tree-based adaptive classification test based on an existing lengthy instrument. A case study was carried out for an assessment of risk for juvenile delinquency. Two unique facts of this case are (a) the items in the original instrument measure a large number of distinctive constructs; (b) the target outcomes are of low prevalence, which renders imbalanced training data. Due to the high dimensionality of the items, traditional item response theory (IRT)-based adaptive testing approaches may not work well, whereas decision trees, which are developed in the machine learning discipline, present as a promising alternative solution for adaptive tests. A cross-validation study was carried out to compare eight tree-based adaptive test constructions with five benchmark methods using data from a sample of 3,975 subjects. The findings reveal that the best-performing tree-based adaptive tests yielded better classification accuracy than the benchmark method IRT scoring with optimal cutpoints, and yielded comparable or better classification accuracy than the best benchmark method, random forest with balanced sampling. The competitive classification accuracy of the tree-based adaptive tests also come with an over 30-fold reduction in the length of the instrument, only administering between 3 to 6 items to any individual. This study suggests that tree-based adaptive tests have an enormous potential when used to shorten instruments that measure a large variety of constructs.



中文翻译:

使用机器学习方法开发基于树的简短自适应分类测试:高维项目池和不平衡数据的案例研究

本研究探索了机器学习中的先进技术,以开发基于现有冗长工具的简短的基于树的自适应分类测试。进行了一项案例研究,以评估青少年犯罪的风险。本案的两个独特事实是 (a) 原始工具中的项目测量了大量独特的结构;(b) 目标结果的普遍性较低,这导致训练数据不平衡。由于项目的高维数,基于传统项目响应理论 (IRT) 的自适应测试方法可能效果不佳,而在机器学习学科中开发的决策树则是自适应测试的有前途的替代解决方案。使用来自 3,975 名受试者的样本数据,进行了一项交叉验证研究,以将八种基于树的自适应测试结构与五种基准方法进行比较。结果表明,性能最佳的基于树的自适应测试产生了比具有最佳切点的基准方法 IRT 评分更好的分类准确度,并且产生了与最佳基准方法(具有平衡采样的随机森林)相当或更好的分类准确度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍,仅对任何个人进行 3 到 6 个项目。这项研究表明,当用于缩短测量各种结构的工具时,基于树的自适应测试具有巨大的潜力。975 个科目。研究结果表明,性能最佳的基于树的自适应测试产生了比具有最佳切点的基准方法 IRT 评分更好的分类准确度,并且产生了与最佳基准方法(具有平衡采样的随机森林)相当或更好的分类准确度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍,仅对任何个人进行 3 到 6 个项目。这项研究表明,当用于缩短测量各种结构的工具时,基于树的自适应测试具有巨大的潜力。975 个科目。研究结果表明,性能最佳的基于树的自适应测试产生了比具有最佳切点的基准方法 IRT 评分更好的分类准确度,并且产生了与最佳基准方法(具有平衡采样的随机森林)相当或更好的分类准确度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍,仅对任何个人进行 3 到 6 个项目。这项研究表明,当用于缩短测量各种结构的工具时,基于树的自适应测试具有巨大的潜力。并产生了与最佳基准方法(平衡抽样的随机森林)相当或更好的分类精度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍,仅对任何个人进行 3 到 6 个项目。这项研究表明,当用于缩短测量各种结构的工具时,基于树的自适应测试具有巨大的潜力。并产生了与最佳基准方法(平衡抽样的随机森林)相当或更好的分类精度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍,仅对任何个人进行 3 到 6 个项目。这项研究表明,当用于缩短测量各种结构的工具时,基于树的自适应测试具有巨大的潜力。

更新日期:2020-06-18
down
wechat
bug