Human activity recognition and neural activity analysis are the basis for human computational neureoethology research dealing with the simultaneous analysis of behavioral ethogram descriptions and neural activity measurements. Wireless electroencephalography (EEG) and wireless inertial measurement units (IMU) allow the realization of experimental data recording with improved ecological validity where the subjects can be carrying out natural activities while data recording is minimally invasive. Specifically, we aim to show that EEG and IMU data fusion allows improved human activity recognition in a natural setting. We have defined an experimental protocol composed of natural sitting, standing and walking activities, and we have recruited subjects in two sites: in-house ([Formula: see text]) and out-house ([Formula: see text]) populations with different demographics. Experimental protocol data capture was carried out with validated commercial systems. Classifier model training and validation were carried out with scikit-learn open source machine learning python package. EEG features consist of the amplitude of the standard EEG frequency bands. Inertial features were the instantaneous position of the body tracked points after a moving average smoothing to remove noise. We carry out three validation processes: a 10-fold cross-validation process per experimental protocol repetition, (b) the inference of the ethograms, and (c) the transfer learning from each experimental protocol repetition to the remaining repetitions. The in-house accuracy results were lower and much more variable than the out-house sessions results. In general, random forest was the best performing classifier model. Best cross-validation results, ethogram accuracy, and transfer learning were achieved from the fusion of EEG and IMUs data. Transfer learning behaved poorly compared to classification on the same protocol repetition, but it has accuracy still greater than 0.75 on average for the out-house data sessions. Transfer leaning accuracy among repetitions of the same subject was above 0.88 on average. Ethogram prediction accuracy was above 0.96 on average. Therefore, we conclude that wireless EEG and IMUs allow for the definition of natural experimental designs with high ecological validity toward human computational neuroethology research. The fusion of both EEG and IMUs signals improves activity and ethogram recognition.

中文翻译：

---

结合惯性运动传感器和脑电图信号改进活动识别

人类活动识别和神经活动分析是人类计算神经行为学研究的基础，该研究涉及同时分析行为行为图描述和神经活动测量。无线脑电图 (EEG) 和无线惯性测量单元 (IMU) 允许实现具有改进生态有效性的实验数据记录，其中受试者可以进行自然活动，而数据记录是微创的。具体来说，我们旨在证明 EEG 和 IMU 数据融合可以改善自然环境中的人类活动识别。我们定义了一个由自然坐姿、站立和行走活动组成的实验方案，我们在两个地点招募了受试者：内部（[公式：见文本]）和外部（[公式：见文本]) 具有不同人口统计特征的人群。使用经过验证的商业系统进行实验协议数据捕获。使用 scikit-learn 开源机器学习 python 包进行分类器模型训练和验证。EEG 特征由标准 EEG 频带的幅度组成。惯性特征是经过移动平均平滑以去除噪声后身体跟踪点的瞬时位置。我们进行了三个验证过程：每个实验协议重复的 10 倍交叉验证过程，（b）行为图的推断，以及（c）从每个实验协议重复到剩余重复的迁移学习。与外部会议结果相比，内部准确性结果更低且变化更大。一般来说，随机森林是表现最好的分类器模型。通过 EEG 和 IMU 数据的融合，实现了最佳的交叉验证结果、ethogram 准确性和迁移学习。与相同协议重复上的分类相比，迁移学习表现不佳，但对于外部数据会话，它的平均准确度仍高于 0.75。同一主题重复之间的转移学习准确度平均高于 0.88。Ethogram 预测准确度平均高于 0.96。因此，我们得出结论，无线 EEG 和 IMU 允许定义对人类计算神经行为学研究具有高生态有效性的自然实验设计。EEG 和 IMU 信号的融合改善了活动和行为图识别。EEG 和 IMU 数据的融合实现了迁移学习。与相同协议重复上的分类相比，迁移学习表现不佳，但对于外部数据会话，它的平均准确度仍高于 0.75。同一主题重复之间的转移学习准确度平均高于 0.88。Ethogram 预测准确度平均高于 0.96。因此，我们得出结论，无线 EEG 和 IMU 允许定义对人类计算神经行为学研究具有高生态有效性的自然实验设计。EEG 和 IMU 信号的融合改善了活动和行为图识别。EEG 和 IMU 数据的融合实现了迁移学习。与相同协议重复上的分类相比，迁移学习表现不佳，但对于外部数据会话，它的平均准确度仍高于 0.75。同一主题重复之间的转移学习准确度平均高于 0.88。Ethogram 预测准确度平均高于 0.96。因此，我们得出结论，无线 EEG 和 IMU 允许定义对人类计算神经行为学研究具有高生态有效性的自然实验设计。EEG 和 IMU 信号的融合改善了活动和行为图识别。但对于外部数据会话，它的平均准确度仍高于 0.75。同一主题重复之间的转移学习准确度平均高于 0.88。Ethogram 预测准确度平均高于 0.96。因此，我们得出结论，无线 EEG 和 IMU 允许定义对人类计算神经行为学研究具有高生态有效性的自然实验设计。EEG 和 IMU 信号的融合改善了活动和行为图识别。但对于外部数据会话，它的平均准确度仍高于 0.75。同一主题重复之间的转移学习准确度平均高于 0.88。Ethogram 预测准确度平均高于 0.96。因此，我们得出结论，无线 EEG 和 IMU 允许定义对人类计算神经行为学研究具有高生态有效性的自然实验设计。EEG 和 IMU 信号的融合改善了活动和行为图识别。我们得出结论，无线 EEG 和 IMU 允许定义对人类计算神经行为学研究具有高生态有效性的自然实验设计。EEG 和 IMU 信号的融合改善了活动和行为图识别。我们得出结论，无线 EEG 和 IMU 允许定义对人类计算神经行为学研究具有高生态有效性的自然实验设计。EEG 和 IMU 信号的融合改善了活动和行为图识别。