The response process of problem-solving items contains rich information about respondents' behaviours and cognitive process in the digital tasks, while the information extraction is a big challenge. The aim of the study is to use a data-driven approach to explore the latent states and state transitions underlying problem-solving process to reflect test-takers' behavioural patterns, and to investigate how these states and state transitions could be associated with test-takers' performance. We employed the Hidden Markov Modelling approach to identify test takers' hidden states during the problem-solving process and compared the frequency of states and/or state transitions between different performance groups. We conducted comparable studies in two problem-solving items with a focus on the US sample that was collected in PIAAC 2012, and examined the correlation between those frequencies from two items. Latent states and transitions between them underlying the problem-solving process were identified and found significantly different by performance groups. The groups with correct responses in both items were found more engaged in tasks and more often to use efficient tools to solve problems, while the group with incorrect responses was found more likely to use shorter action sequences and exhibit hesitative behaviours. Consistent behavioural patterns were identified across items. This study demonstrates the value of data-driven based HMM approach to better understand respondents' behavioural patterns and cognitive transmissions underneath the observable action sequences in complex problem-solving tasks.

中文翻译：

---

在过程数据上使用隐马尔可夫模型探索问题解决能力的潜在状态

问题解决项目的响应过程包含了被访者在数字任务中的行为和认知过程的丰富信息，而信息提取是一个很大的挑战。该研究的目的是使用数据驱动的方法来探索问题解决过程的潜在状态和状态转换，以反映考生的行为模式，并研究这些状态和状态转换如何与测试相关联。接受者的表现。我们采用隐马尔可夫建模方法来识别考生在解决问题过程中的隐藏状态，并比较不同表现组之间状态和/或状态转换的频率。我们在两个解决问题的项目中进行了比较研究，重点是在 PIAAC 2012 中收集的美国样本，并检查了来自两个项目的这些频率之间的相关性。潜在状态和潜在状态之间的转换是解决问题过程的基础，并发现表现组之间存在显着差异。发现在两个项目中都正确回答的组更专注于任务，更经常使用有效的工具来解决问题，而回答错误的组则更有可能使用较短的动作序列并表现出犹豫的行为。跨项目识别出一致的行为模式。这项研究证明了基于数据驱动的 HMM 方法的价值，它可以更好地理解受访者在复杂问题解决任务中可观察到的动作序列下的行为模式和认知传递。潜在状态和潜在状态之间的转换是解决问题过程的基础，并发现表现组之间存在显着差异。发现在两个项目中都正确回答的组更专注于任务，更经常使用有效的工具来解决问题，而回答错误的组则更有可能使用较短的动作序列并表现出犹豫的行为。跨项目识别出一致的行为模式。这项研究证明了基于数据驱动的 HMM 方法的价值，它可以更好地理解受访者在复杂问题解决任务中可观察到的动作序列下的行为模式和认知传递。潜在状态和潜在状态之间的转换是解决问题过程的基础，并发现表现组之间存在显着差异。发现在两个项目中都正确回答的组更专注于任务，更经常使用有效的工具来解决问题，而回答错误的组则更有可能使用较短的动作序列并表现出犹豫的行为。跨项目识别出一致的行为模式。这项研究证明了基于数据驱动的 HMM 方法的价值，可以更好地理解受访者在复杂问题解决任务中可观察到的动作序列下的行为模式和认知传递。