Significance: We demonstrated the potential of using domain adaptation on functional near-infrared spectroscopy (fNIRS) data to classify different levels of n-back tasks that involve working memory. Aim: Domain shift in fNIRS data is a challenge in the workload level alignment across different experiment sessions and subjects. To address this problem, two domain adaptation approaches—Gromov–Wasserstein (G-W) and fused Gromov–Wasserstein (FG-W) were used. Approach: Specifically, we used labeled data from one session or one subject to classify trials in another session (within the same subject) or another subject. We applied G-W for session-by-session alignment and FG-W for subject-by-subject alignment to fNIRS data acquired during different n-back task levels. We compared these approaches with three supervised methods: multiclass support vector machine (SVM), convolutional neural network (CNN), and recurrent neural network (RNN). Results: In a sample of six subjects, G-W resulted in an alignment accuracy of 68 % ± 4 % (weighted mean ± standard error) for session-by-session alignment, FG-W resulted in an alignment accuracy of 55 % ± 2 % for subject-by-subject alignment. In each of these cases, 25% accuracy represents chance. Alignment accuracy results from both G-W and FG-W are significantly greater than those from SVM, CNN, and RNN. We also showed that removal of motion artifacts from the fNIRS data plays an important role in improving alignment performance. Conclusions: Domain adaptation has potential for session-by-session and subject-by-subject alignment of mental workload by using fNIRS data.

中文翻译：

---

使用 fNIRS 在会话和主题之间实现稳健的工作负载水平对齐的域适应

意义：我们展示了在功能性近红外光谱 (fNIRS) 数据上使用域自适应对涉及工作记忆的不同级别的 n-back 任务进行分类的潜力。目标：fNIRS 数据中的域转移是跨不同实验会话和主题的工作负载水平对齐的挑战。为了解决这个问题，使用了两种域适应方法——Gromov-Wasserstein (GW) 和融合 Gromov-Wasserstein (FG-W)。方法：具体来说，我们使用来自一个会话或一个主题的标记数据对另一个会话（同一主题内）或另一个主题中的试验进行分类。我们将 GW 用于逐个会话的对齐，并将 FG-W 用于逐个主题的对齐，以匹配在不同 n-back 任务级别期间获取的 fNIRS 数据。我们将这些方法与三种监督方法进行了比较：多类支持向量机 (SVM)、卷积神经网络 (CNN) 和循环神经网络 (RNN)。结果：在六个受试者的样本中，GW 导致逐个会话对齐的对齐精度为 68 % ± 4 %（加权平均值 ± 标准误差），FG-W 导致对齐精度为 55 % ± 2 %用于逐个主题对齐。在每种情况下，25% 的准确率代表机会。GW 和 FG-W 的对齐精度结果明显高于 SVM、CNN 和 RNN。我们还表明，从 fNIRS 数据中去除运动伪影在提高对齐性能方面起着重要作用。结论：通过使用 fNIRS 数据，域适应具有心理工作量的逐个会话和逐个主题对齐的潜力。和循环神经网络（RNN）。结果：在六名受试者的样本中，GW 导致逐个会话对齐的对齐精度为 68 % ± 4 %（加权平均值 ± 标准误差），FG-W 导致对齐精度为 55 % ± 2 %用于逐个主题对齐。在每种情况下，25% 的准确率代表机会。GW 和 FG-W 的对齐精度结果明显高于 SVM、CNN 和 RNN。我们还表明，从 fNIRS 数据中去除运动伪影在提高对齐性能方面起着重要作用。结论：通过使用 fNIRS 数据，域适应具有心理工作量的逐个会话和逐个主题对齐的潜力。和循环神经网络（RNN）。结果：在六名受试者的样本中，GW 导致逐个会话对齐的对齐精度为 68 % ± 4 %（加权平均值 ± 标准误差），FG-W 导致对齐精度为 55 % ± 2 %用于逐个主题对齐。在每种情况下，25% 的准确率代表机会。GW 和 FG-W 的对齐精度结果明显高于 SVM、CNN 和 RNN。我们还表明，从 fNIRS 数据中去除运动伪影在提高对齐性能方面起着重要作用。结论：通过使用 fNIRS 数据，域适应具有心理工作量的逐个会话和逐个主题对齐的潜力。GW 导致逐个会话对齐的对齐精度为 68 % ± 4 %（加权平均值 ± 标准误差），FG-W 导致逐个对象对齐的对齐精度为 55 % ± 2 %。在每种情况下，25% 的准确率代表机会。GW 和 FG-W 的对齐精度结果明显高于 SVM、CNN 和 RNN。我们还表明，从 fNIRS 数据中去除运动伪影在提高对齐性能方面起着重要作用。结论：通过使用 fNIRS 数据，域适应具有心理工作量的逐个会话和逐个主题对齐的潜力。GW 导致逐个会话对齐的对齐精度为 68 % ± 4 %（加权平均值 ± 标准误差），FG-W 导致逐个对象对齐的对齐精度为 55 % ± 2 %。在每种情况下，25% 的准确率代表机会。GW 和 FG-W 的对齐精度结果明显高于 SVM、CNN 和 RNN。我们还表明，从 fNIRS 数据中去除运动伪影在提高对齐性能方面起着重要作用。结论：通过使用 fNIRS 数据，域适应具有心理工作量的逐个会话和逐个主题对齐的潜力。GW 和 FG-W 的对齐精度结果明显高于 SVM、CNN 和 RNN。我们还表明，从 fNIRS 数据中去除运动伪影在提高对齐性能方面起着重要作用。结论：通过使用 fNIRS 数据，域适应具有心理工作量的逐个会话和逐个主题对齐的潜力。GW 和 FG-W 的对齐精度结果明显高于 SVM、CNN 和 RNN。我们还表明，从 fNIRS 数据中去除运动伪影在提高对齐性能方面起着重要作用。结论：通过使用 fNIRS 数据，域适应具有心理工作量的逐个会话和逐个主题对齐的潜力。