Stress has been identified as one of major contributing factors in car crashes due to its negative impact on driving performance. It is in urgent need that the stress levels of drivers can be detected in real time with high accuracy so that intervening or navigating measures can be taken in time to mitigate the situation. Existing driver stress detection models mainly rely on traditional machine learning techniques to fuse multimodal data. However, due to the non-linear correlations among modalities, it is still challenging for traditional multimodal fusion methods to handle the real-time influx of complex multimodal and high dimensional data, and report drivers’ stress levels accurately. To solve this issue, a framework of driver stress detection through multimodal fusion using attention based deep learning techniques is proposed in this paper. Specifically, an attention based convolutional neural networks (CNN) and long short-term memory (LSTM) model is proposed to fuse non-invasive data, including eye data, vehicle data, and environmental data. Then, the proposed model can automatically extract features separately from each modality and give different levels of attention to features from different modalities through self-attention mechanism. To verify the validity of the proposed method, extensive experiments have been carried out on our dataset collected using an advanced driving simulator. Experimental results demonstrate that the performance of the proposed method on driver stress detection outperforms the state-of-the-art models with an average accuracy of 95.5%.

由于压力对驾驶性能的负面影响，压力已被认为是导致汽车撞车的主要因素之一。迫切需要能够高精度地实时检测驾驶员的压力水平，以便及时采取干预或导航措施以减轻这种情况。现有的驾驶员压力检测模型主要依靠传统的机器学习技术来融合多模式数据。然而，由于模态之间的非线性相关性，对于传统的多模态融合方法来说，处理复杂的多模态和高维数据的实时涌入并准确报告驾驶员的压力水平仍然具有挑战性。为了解决这个问题，本文提出了一种使用基于注意力的深度学习技术通过多模式融合来检测驾驶员压力的框架。具体而言，提出了一种基于注意力的卷积神经网络（CNN）和长短期记忆（LSTM）模型来融合非侵入性数据，包括眼睛数据，车辆数据和环境数据。然后，提出的模型可以自动从每个模态中分别提取特征，并通过自我注意机制对不同模态中的特征给予不同程度的关注。为了验证所提出方法的有效性，已经对我们使用高级驾驶模拟器收集的数据集进行了广泛的实验。实验结果表明，该方法在驾驶员压力检测方面的性能优于最新模型，平均准确度为95.5％。提出了一种基于注意力的卷积神经网络（CNN）和长短期记忆（LSTM）模型，以融合非侵入性数据，包括眼睛数据，车辆数据和环境数据。然后，提出的模型可以自动从每个模态中分别提取特征，并通过自我注意机制对不同模态中的特征给予不同程度的关注。为了验证所提出方法的有效性，已经对我们使用高级驾驶模拟器收集的数据集进行了广泛的实验。实验结果表明，该方法在驾驶员压力检测方面的性能优于最新模型，平均准确度为95.5％。提出了一种基于注意力的卷积神经网络（CNN）和长短期记忆（LSTM）模型，以融合非侵入性数据，包括眼睛数据，车辆数据和环境数据。然后，提出的模型可以自动从每个模态中分别提取特征，并通过自我注意机制对不同模态中的特征给予不同程度的关注。为了验证所提出方法的有效性，已经对我们使用高级驾驶模拟器收集的数据集进行了广泛的实验。实验结果表明，该方法在驾驶员压力检测方面的性能优于最新模型，平均准确度为95.5％。所提出的模型可以自动从每个模态中分别提取特征，并通过自我注意机制对不同模态中的特征给予不同程度的关注。为了验证所提出方法的有效性，已经对我们使用高级驾驶模拟器收集的数据集进行了广泛的实验。实验结果表明，该方法在驾驶员压力检测方面的性能优于最新模型，平均准确度为95.5％。所提出的模型可以自动从每个模态中分别提取特征，并通过自我注意机制对不同模态中的特征给予不同程度的关注。为了验证所提出方法的有效性，已经对我们使用高级驾驶模拟器收集的数据集进行了广泛的实验。实验结果表明，该方法在驾驶员压力检测方面的性能优于最新模型，平均准确度为95.5％。