This study explores advanced techniques in machine learning to develop a short tree-based adaptive classification test based on an existing lengthy instrument. A case study was carried out for an assessment of risk for juvenile delinquency. Two unique facts of this case are (a) the items in the original instrument measure a large number of distinctive constructs; (b) the target outcomes are of low prevalence, which renders imbalanced training data. Due to the high dimensionality of the items, traditional item response theory (IRT)-based adaptive testing approaches may not work well, whereas decision trees, which are developed in the machine learning discipline, present as a promising alternative solution for adaptive tests. A cross-validation study was carried out to compare eight tree-based adaptive test constructions with five benchmark methods using data from a sample of 3,975 subjects. The findings reveal that the best-performing tree-based adaptive tests yielded better classification accuracy than the benchmark method IRT scoring with optimal cutpoints, and yielded comparable or better classification accuracy than the best benchmark method, random forest with balanced sampling. The competitive classification accuracy of the tree-based adaptive tests also come with an over 30-fold reduction in the length of the instrument, only administering between 3 to 6 items to any individual. This study suggests that tree-based adaptive tests have an enormous potential when used to shorten instruments that measure a large variety of constructs.

本研究探索了机器学习中的先进技术，以开发基于现有冗长工具的简短的基于树的自适应分类测试。进行了一项案例研究，以评估青少年犯罪的风险。本案的两个独特事实是 (a) 原始工具中的项目测量了大量独特的结构；(b) 目标结果的普遍性较低，这导致训练数据不平衡。由于项目的高维数，基于传统项目响应理论 (IRT) 的自适应测试方法可能效果不佳，而在机器学习学科中开发的决策树则是自适应测试的有前途的替代解决方案。使用来自 3,975 名受试者的样本数据，进行了一项交叉验证研究，以将八种基于树的自适应测试结构与五种基准方法进行比较。结果表明，性能最佳的基于树的自适应测试产生了比具有最佳切点的基准方法 IRT 评分更好的分类准确度，并且产生了与最佳基准方法（具有平衡采样的随机森林）相当或更好的分类准确度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍，仅对任何个人进行 3 到 6 个项目。这项研究表明，当用于缩短测量各种结构的工具时，基于树的自适应测试具有巨大的潜力。975 个科目。研究结果表明，性能最佳的基于树的自适应测试产生了比具有最佳切点的基准方法 IRT 评分更好的分类准确度，并且产生了与最佳基准方法（具有平衡采样的随机森林）相当或更好的分类准确度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍，仅对任何个人进行 3 到 6 个项目。这项研究表明，当用于缩短测量各种结构的工具时，基于树的自适应测试具有巨大的潜力。975 个科目。研究结果表明，性能最佳的基于树的自适应测试产生了比具有最佳切点的基准方法 IRT 评分更好的分类准确度，并且产生了与最佳基准方法（具有平衡采样的随机森林）相当或更好的分类准确度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍，仅对任何个人进行 3 到 6 个项目。这项研究表明，当用于缩短测量各种结构的工具时，基于树的自适应测试具有巨大的潜力。并产生了与最佳基准方法（平衡抽样的随机森林）相当或更好的分类精度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍，仅对任何个人进行 3 到 6 个项目。这项研究表明，当用于缩短测量各种结构的工具时，基于树的自适应测试具有巨大的潜力。并产生了与最佳基准方法（平衡抽样的随机森林）相当或更好的分类精度。基于树的自适应测试的竞争性分类准确性还使仪器长度减少了 30 多倍，仅对任何个人进行 3 到 6 个项目。这项研究表明，当用于缩短测量各种结构的工具时，基于树的自适应测试具有巨大的潜力。