AbstractWe investigate the use of commercial off-the-shelf (COTS) eye-trackers to automatically detect mind wandering—a phenomenon involving a shift in attention from task-related to task-unrelated thoughts—during computerized learning. Study 1 (N = 135 high-school students) tested the feasibility of COTS eye tracking while students learn biology with an intelligent tutoring system called GuruTutor in their classroom. We could successfully track eye gaze in 75% (both eyes tracked) and 95% (one eye tracked) of the cases for 85% of the sessions where gaze was successfully recorded. In Study 2, we used this data to build automated student-independent detectors of mind wandering, obtaining accuracies (mind wandering F1 = 0.59) substantially better than chance (F1 = 0.24). Study 3 investigated context-generalizability of mind wandering detectors, finding that models trained on data collected in a controlled laboratory more successfully generalized to the classroom than the reverse. Study 4 investigated gaze- and video- based mind wandering detection, finding that gaze-based detection was superior and multimodal detection yielded an improvement in limited circumstances. We tested live mind wandering detection on a new sample of 39 students in Study 5 and found that detection accuracy (mind wandering F1 = 0.40) was considerably above chance (F1 = 0.24), albeit lower than offline detection accuracy from Study 1 (F1 = 0.59), a finding attributable to handling of missing data. We discuss our next steps towards developing gaze-based attention-aware learning technologies to increase engagement and learning by combating mind wandering in classroom contexts.

中文翻译：

---

在课堂计算机化学习过程中自动进行基于凝视的思维游移检测

摘要我们调查了商用现成 (COTS) 眼动仪在计算机化学习过程中自动检测思维游移的使用 - 一种涉及注意力从与任务相关的想法转移到与任务无关的想法的现象。研究 1（N = 135 名高中生）测试了 COTS 眼动追踪的可行性，同时学生在课堂上使用名为 GuruTutor 的智能辅导系统学习生物学。在成功记录注视的 85% 的会话中，我们可以在 75%（两只眼睛都被跟踪）和 95%（一只眼睛被跟踪）的情况下成功地跟踪眼睛注视。在研究 2 中，我们使用这些数据来构建独立于学生的自动思维游荡检测器，获得的准确度（思维游荡 F1 = 0.59）大大优于偶然性（F1 = 0.24）。研究 3 调查了走神检测器的上下文泛化性，发现在受控实验室收集的数据上训练的模型比相反更成功地推广到课堂。研究 4 调查了基于凝视和视频的思维漫游检测，发现基于凝视的检测更胜一筹，并且多模态检测在有限的情况下产生了改进。我们在研究 5 中对 39 名学生的新样本进行了实时思维游走检测，发现检测准确度（思维游走 F1 = 0.40）大大高于偶然性（F1 = 0.24），尽管低于研究 1 的离线检测准确度（F1 = 0.59），这一发现归因于处理缺失数据。我们讨论了开发基于注视的注意力感知学习技术的下一步步骤，以通过对抗课堂环境中的走神来提高参与度和学习。研究 4 调查了基于凝视和视频的思维漫游检测，发现基于凝视的检测更胜一筹，并且多模态检测在有限的情况下产生了改进。我们在研究 5 中对 39 名学生的新样本进行了实时思维游走检测，发现检测准确度（思维游走 F1 = 0.40）大大高于偶然性（F1 = 0.24），尽管低于研究 1 的离线检测准确度（F1 = 0.59），这一发现归因于处理缺失数据。我们讨论了开发基于注视的注意力感知学习技术的下一步步骤，以通过对抗课堂环境中的走神来提高参与度和学习。研究 4 调查了基于凝视和视频的思维漫游检测，发现基于凝视的检测更胜一筹，并且多模态检测在有限的情况下产生了改进。我们在研究 5 中对 39 名学生的新样本进行了实时思维游走检测，发现检测准确度（思维游走 F1 = 0.40）大大高于偶然性（F1 = 0.24），尽管低于研究 1 的离线检测准确度（F1 = 0.59），这一发现归因于处理缺失数据。我们讨论了开发基于注视的注意力感知学习技术的下一步步骤，以通过对抗课堂环境中的走神来提高参与度和学习。我们在研究 5 中对 39 名学生的新样本进行了实时思维游走检测，发现检测准确度（思维游走 F1 = 0.40）大大高于偶然性（F1 = 0.24），尽管低于研究 1 的离线检测准确度（F1 = 0.59），这一发现归因于处理缺失数据。我们讨论了开发基于注视的注意力感知学习技术的下一步步骤，以通过对抗课堂环境中的走神来提高参与度和学习。我们在研究 5 中对 39 名学生的新样本进行了实时思维游走检测，发现检测准确度（思维游走 F1 = 0.40）大大高于偶然性（F1 = 0.24），尽管低于研究 1 的离线检测准确度（F1 = 0.59），这一发现归因于处理缺失数据。我们讨论了开发基于注视的注意力感知学习技术的下一步步骤，以通过对抗课堂环境中的走神来提高参与度和学习。