This paper illustrates how process data can be used to identify behavioral patterns in a computer-based problem-solving assessment. Using sequence-mining techniques, we identify patterns of behavior across multiple digital tasks from the sequences of actions undertaken by respondents. We then examine how respondents’ action sequences (which we label “strategies”) differ from optimal strategies. In our application, optimality is defined ex-ante as the sequence of actions that content experts involved in the development of the assessment tasks identified as most efficient to solve the task given the range of possible actions available to test-takers. Data on 7462 respondents from five countries (the United Kingdom, Ireland, Japan, the Netherlands, and the United States) participating in the Problem Solving in Technology-Rich Environment (PSTRE) assessment, administered as part of the OECD Programme for the International Assessment of Adult Competencies (PIAAC), indicate that valuable insights can be derived from the analysis of process data. Adults who follow optimal strategies are more likely to obtain high scores in the PSTRE assessment, while low performers consistently adopt strategies that are very distant from optimal ones. Very few high performers are able to solve the items in an efficient way, i.e. by minimizing the number of actions and by avoiding undertaking unnecessary or redundant actions. Women and adults above the age of 40 are more likely to adopt sub-optimal problem-solving strategies.

本文说明了过程数据如何用于识别基于计算机的问题解决评估中的行为模式。使用序列挖掘技术，我们从受访者采取的行动序列中识别出多个数字任务的行为模式。然后，我们研究受访者的行动顺序（我们称之为“战略”）与最佳策略有何不同。在我们的应用程序中，最优性是事前定义的，是指在评估人员可以采取的可能行动范围内，内容专家参与评估任务开发的行动顺序，这些行动被认为是解决任务最有效的方法。来自五个国家（英国，爱尔兰，日本，荷兰，和美国）参加了OECD成人能力国际评估计划（PIAAC）所管理的技术含量高的环境中的问题解决（PSTRE）评估，表明可以从过程分析中获得宝贵的见解数据。遵循最佳策略的成年人更有可能在PSTRE评估中获得高分，而低绩效者始终采用与最佳策略相距甚远的策略。很少有高性能的人能够以有效的方式解决问题，即通过最小化行动数量并避免采取不必要或多余的行动。40岁以上的妇女和成人更有可能采用次优的问题解决策略。作为经合组织成人能力国际评估计划（PIAAC）的一部分进行管理，表明可以从过程数据分析中获得有价值的见解。遵循最佳策略的成年人更有可能在PSTRE评估中获得高分，而低绩效者始终采用与最佳策略相距甚远的策略。很少有高性能的人能够以有效的方式解决问题，即通过最小化行动数量并避免采取不必要或多余的行动。40岁以上的妇女和成人更有可能采用次优的问题解决策略。作为经合组织成人能力国际评估计划（PIAAC）的一部分进行管理，表明可以从过程数据分析中获得有价值的见解。遵循最佳策略的成年人更有可能在PSTRE评估中获得高分，而低绩效者始终采用与最佳策略相距甚远的策略。很少有高性能的人能够以有效的方式解决问题，即通过最小化行动数量并避免采取不必要或多余的行动。40岁以上的妇女和成人更有可能采取次优的问题解决策略。遵循最佳策略的成年人更有可能在PSTRE评估中获得高分，而低绩效者始终采用与最佳策略相距甚远的策略。很少有高性能的人能够以有效的方式解决问题，即通过最小化行动数量并避免采取不必要或多余的行动。40岁以上的妇女和成人更有可能采取次优的问题解决策略。遵循最佳策略的成年人更有可能在PSTRE评估中获得高分，而低绩效者始终采用与最佳策略相距甚远的策略。很少有高性能的人能够以有效的方式解决问题，即通过最小化行动数量并避免采取不必要或多余的行动。40岁以上的妇女和成人更有可能采取次优的问题解决策略。