During this digital era, France, like many other countries, is undergoing a transition from paper-based assessments to digital assessments in education. There is a rising interest in technology-enhanced items which offer innovative ways to assess traditional competencies, as well as addressing problem solving skills, specifically in mathematics. The rich log data captured by these items allows insight into how students approach the problem and their process strategies. Educational data mining is an emerging discipline developing methods suited for exploring the unique and increasingly large-scale data that come from such settings. Data-driven methods can be helpful when trying to make sense of process data. However, studies have shown that didactically meaningful findings are most likely generated when data mining techniques are guided by theoretical principles on subjects’ skills. In this study, theoretical didactical grounding has been essential for developing and describing interactive mathematical tasks as well as defining and identifying strategic behaviors from the log data. Interactive instruments from France’s national large-scale assessment in mathematics have been pilot tested in May 2017. Feature engineering and classical machine learning analysis were then applied to the process data of one specific technology-enhanced item. Supervised learning was implemented to determine the model’s predictive power of students’ achievement and estimate the weight of the variables in the prediction. Unsupervised learning aimed at clustering the samples. The obtained clusters are interpreted by the mean values of the important features. Both the analytical model and the clusters enable us to identify among students two conceptual approaches that can be interpreted in theoretically meaningful ways. If there are limitations to relying on log data analysis in order to determine learning profiles, one of them is the fact that this information remains partial when it comes to describing the complete cognitive activity at play, the potential of technology-enriched problem solving situations in large-scale assessments is nevertheless obvious. The type of findings this study produced is actionable from teachers’ perspective in order to address students’ specific needs.

中文翻译：

---

当教学法与数据科学相遇时：法国大规模数学评估中的过程数据分析

在这个数字时代，法国和许多其他国家一样，正在经历从纸质评估到教育数字评估的过渡。人们对技术增强型产品的兴趣日益浓厚，这些技术提供了创新的方法来评估传统能力以及解决问题的能力，特别是在数学领域。这些项目捕获的丰富日志数据可以洞悉学生如何解决问题及其处理策略。教育数据挖掘是一门新兴的学科开发方法，适用于探索来自此类环境的独特且日益庞大的数据。尝试理解过程数据时，数据驱动的方法可能会有所帮助。然而，研究表明，当数据挖掘技术以受试者技能的理论原理为指导时，最有可能产生具有教学意义的发现。在这项研究中，理论教学基础对于开发和描述交互式数学任务以及从日志数据定义和识别战略行为至关重要。来自法国国家大规模数学评估的交互式仪器于2017年5月进行了先导测试。然后，将特征工程和经典机器学习分析应用于一项特定技术增强项目的过程数据。实施监督学习，以确定模型对学生成绩的预测能力，并估计预测变量的权重。无监督学习旨在对样本进行聚类。所获得的聚类通过重要特征的平均值来解释。分析模型和分类都使我们能够在学生中识别出两种可以用理论上有意义的方式解释的概念方法。如果依靠日志数据分析来确定学习概况存在局限性，其中之一就是以下事实：当描述完整的认知活动时，该信息仍然是部分信息，这是技术中解决问题的能力的潜力。然而，大规模评估是显而易见的。从教师的角度来看，这项研究得出的结论类型是可行的，以便满足学生的特定需求。分析模型和分类都使我们能够在学生中识别出两种可以用理论上有意义的方式解释的概念方法。如果依靠日志数据分析来确定学习概况存在局限性，其中之一就是以下事实：当描述完整的认知活动时，该信息仍然是部分信息，这是技术中解决问题的能力的潜力。然而，大规模评估是显而易见的。从教师的角度来看，这项研究得出的结论类型是可行的，以便满足学生的特定需求。分析模型和群集都使我们能够在学生中识别出两种可以用理论上有意义的方式解释的概念方法。如果依靠日志数据分析来确定学习概况存在局限性，其中之一就是以下事实：当描述完整的认知活动时，该信息仍然是部分信息，这是技术中解决问题的能力的潜力。然而，大规模评估是显而易见的。从教师的角度来看，这项研究得出的结论类型是可行的，以便满足学生的特定需求。其中之一是，在描述游戏中的完整认知活动时，这些信息仍然是部分信息，尽管如此，在大规模评估中，技术丰富的问题​​解决情况的潜力仍然显而易见。从教师的角度来看，这项研究得出的结论类型是可行的，以便解决学生的特定需求。其中之一是，在描述游戏中的完整认知活动时，这些信息仍然是部分信息，尽管如此，在大规模评估中，技术丰富的问题​​解决情况的潜力仍然显而易见。从教师的角度来看，这项研究得出的结论类型是可行的，以便满足学生的特定需求。