High levels of attrition characterize undergraduate science courses in the USA. Predictive analytics research seeks to build models that identify at-risk students and suggest interventions that enhance student success. This study examines whether incorporating a novel assessment type (concept inventories [CI]) and using machine learning (ML) methods (1) improves prediction quality, (2) reduces the time point of successful prediction, and (3) suggests more actionable course-level interventions. A corpus of university and course-level assessment and non-assessment variables (53 variables in total) from 3225 students (over six semesters) was gathered. Five ML methods were employed (two individuals, three ensembles) at three time points (pre-course, week 3, week 6) to quantify predictive efficacy. Inclusion of course-specific CI data along with university-specific corpora significantly improved prediction performance. Ensemble ML methods, in particular the generalized linear model with elastic net (GLMNET), yielded significantly higher area under the curve (AUC) values compared with non-ensemble techniques. Logistic regression achieved the poorest prediction performance and consistently underperformed. Surprisingly, increasing corpus size (i.e., amount of historical data) did not meaningfully impact prediction success. We discuss the roles that novel assessment types and ML techniques may play in advancing predictive learning analytics and addressing attrition in undergraduate science education.

高流失率是美国大学理科课程的特征。预测分析研究旨在建立模型，以识别高风险学生并提出可提高学生成功率的干预措施。这项研究研究了是否纳入一种新颖的评估类型（概念清单[CI]）并使用机器学习（ML）方法（1）提高预测质量，（2）减少成功预测的时间点，以及（3）提出更具可行性的课程级干预。收集了来自3225名学生（六个学期以上）的大学和课程级别评估以及非评估变量（总共53个变量）的语料库。在三个时间点（疗程前，第3周，第6周）采用了5种ML方法（两个人，三个合奏）来量化预测疗效。包含课程特定的CI数据以及大学特定的语料库可显着提高预测性能。与非集成技术相比，集成ML方法，尤其是具有弹性网的广义线性模型（GLMNET），产生的曲线下面积（AUC）值明显更高。Logistic回归的预测性能最差，并且始终表现不佳。令人惊讶的是，语料库大小的增加（即历史数据的数量）并没有对预测成功产生有意义的影响。我们讨论了新颖的评估类型和机器学习技术在推进预测学习分析和解决本科科学教育中的损耗方面可能发挥的作用。与非集成技术相比，特别是具有弹性网的广义线性模型（GLMNET）产生的曲线下面积（AUC）值明显更高。Logistic回归的预测性能最差，并且始终表现不佳。令人惊讶的是，语料库大小的增加（即历史数据的数量）并没有对预测成功产生有意义的影响。我们讨论了新颖的评估类型和机器学习技术在推进预测学习分析和解决本科科学教育中的损耗方面可能发挥的作用。与非集成技术相比，特别是具有弹性网的广义线性模型（GLMNET）产生的曲线下面积（AUC）值明显更高。Logistic回归的预测性能最差，并且始终表现不佳。令人惊讶的是，语料库大小的增加（即历史数据的数量）并没有对预测成功产生有意义的影响。我们讨论了新颖的评估类型和机器学习技术在推进预测性学习分析和解决本科科学教育中的损耗方面可能发挥的作用。数量的历史数据）对预测成功没有实质性影响。我们讨论了新颖的评估类型和机器学习技术在推进预测性学习分析和解决本科科学教育中的损耗方面可能发挥的作用。数量的历史数据）对预测成功没有实质性影响。我们讨论了新颖的评估类型和机器学习技术在推进预测性学习分析和解决本科科学教育中的损耗方面可能发挥的作用。