With an increase in consumer demand of video gaming entertainment, the game industry is exploring novel ways of game interaction such as providing direct interfaces between the game and the gamers’ cognitive or affective responses. In this work, gamer’s brain activity has been imaged using functional near infrared spectroscopy (fNIRS) whilst they watch video of a video game (League of Legends) they play. A video of the face of the participants is also recorded for each of a total of 15 trials where a trial is defined as watching a gameplay video. From the data collected, i.e., gamer’s fNIRS data in combination with emotional state estimation from gamer’s facial expressions, the expertise level of the gamers has been decoded per trial in a multi-modal framework comprising of unsupervised deep feature learning and classification by state-of-the-art models. The best tri-class classification accuracy is obtained using a cascade of random convolutional kernel transform (ROCKET) feature extraction method and deep classifier at 91.44%. This is the first work that aims at decoding expertise level of gamers using non-restrictive and portable technologies for brain imaging, and emotional state recognition derived from gamers’ facial expressions. This work has profound implications for novel designs of future human interactions with video games and brain-controlled games.

中文翻译：

---

从大脑血流动力学和面部情绪反应对视频游戏专家专长的单次尝试识别

随着对视频游戏娱乐的消费者需求的增加，游戏业正在探索新颖的游戏交互方式，例如在游戏与游戏者的认知或情感反应之间提供直接接口。在这项工作中，游戏者的大脑活动已通过功能性近红外光谱（fNIRS）进行了成像，同时他们观看了所玩的视频游戏（《英雄联盟》）的视频。对于总共15个试验中的每个试验，还将记录参与者面部的视频，其中将试验定义为观看游戏视频。从收集到的数据（即游戏者的fNIRS数据）结合游戏者面部表情的情绪状态估计，每次试验都在一个多模式框架中对游戏者的专业水平进行了解码，该框架包括无监督的深度特征学习和最新模型分类。使用级联的随机卷积核变换（ROCKET）特征提取方法和深度分类器可达到91.44％的最佳三级分类精度。这是第一项旨在通过非限制性和便携式技术对游戏者的专业水平进行解码的技术，以进行大脑成像以及从游戏者面部表情中得出的情绪状态识别。这项工作对未来人类与视频游戏和大脑控制游戏互动的新颖设计具有深远的意义。使用级联的随机卷积核变换（ROCKET）特征提取方法和深度分类器可达到91.44％的最佳三级分类精度。这是第一项旨在通过非限制性和便携式技术对游戏者的专业水平进行解码的技术，以进行大脑成像以及从游戏者面部表情中得出的情绪状态识别。这项工作对未来人类与视频游戏和大脑控制游戏互动的新颖设计具有深远的意义。使用级联的随机卷积核变换（ROCKET）特征提取方法和深度分类器可达到91.44％的最佳三级分类精度。这是第一项旨在通过非限制性和便携式技术对游戏者的专业水平进行解码的技术，以进行大脑成像以及从游戏者面部表情中得出的情绪状态识别。这项工作对未来人类与视频游戏和大脑控制游戏互动的新颖设计具有深远的意义。