Sleep scoring is an important step for the detection of sleep disorders and usually performed by visual analysis. Since manual sleep scoring is time consuming, machine-learning based approaches have been proposed. Though efficient, these algorithms are black-box in nature and difficult to interpret by clinicians. In this paper, we propose a deep learning architecture for multi-modal sleep scoring, investigate the model's decision making process, and compare the model's reasoning with the annotation guidelines in the AASM manual. Our architecture, called STQS, uses convolutional neural networks (CNN) to automatically extract spatio-temporal features from 3 modalities (EEG, EOG and EMG), a bidirectional long short-term memory (Bi-LSTM) to extract sequential information, and residual connections to combine spatio-temporal and sequential features. We evaluated our model on two large datasets, obtaining an accuracy of 85% and 77% and a macro F1 score of 79% and 73% on SHHS and an in-house dataset, respectively. We further quantify the contribution of various architectural components and conclude that adding LSTM layers improves performance over a spatio-temporal CNN, while adding residual connections does not. Our interpretability results show that the output of the model is well aligned with AASM guidelines, and therefore, the model's decisions correspond to domain knowledge. We also compare multi-modal models and single-channel models and suggest that future research should focus on improving multi-modal models.

睡眠评分是检测睡眠障碍的重要步骤，通常通过视觉分析进行。由于手动睡眠评分非常耗时，因此提出了基于机器学习的方法。虽然有效，但这些算法本质上是黑盒的，临床医生难以解释。在本文中，我们提出了一种用于多模态睡眠评分的深度学习架构，研究了模型的决策过程，并将模型的推理与 AASM 手册中的注释指南进行了比较。我们的架构称为 STQS，使用卷积神经网络 (CNN) 从 3 种模式（EEG、EOG 和 EMG）中自动提取时空特征，双向长短期记忆 (Bi-LSTM) 用于提取序列信息，和残差连接以结合时空和顺序特征。我们在两个大型数据集上评估了我们的模型，分别在 SHHS 和内部数据集上获得了 85% 和 77% 的准确率以及 79% 和 73% 的宏观 F1 分数。我们进一步量化了各种架构组件的贡献，并得出结论，添加 LSTM 层可以提高时空 CNN 的性能，而添加残差连接则不会。我们的可解释性结果表明模型的输出与 AASM 指南非常一致，因此，模型的决策对应于领域知识。我们还比较了多模态模型和单通道模型，并建议未来的研究应侧重于改进多模态模型。在 SHHS 和内部数据集上分别获得 85% 和 77% 的准确率以及 79% 和 73% 的宏观 F1 分数。我们进一步量化了各种架构组件的贡献，并得出结论，添加 LSTM 层可以提高时空 CNN 的性能，而添加残差连接则不会。我们的可解释性结果表明模型的输出与 AASM 指南非常一致，因此，模型的决策对应于领域知识。我们还比较了多模态模型和单通道模型，并建议未来的研究应侧重于改进多模态模型。在 SHHS 和内部数据集上分别获得 85% 和 77% 的准确率以及 79% 和 73% 的宏观 F1 分数。我们进一步量化了各种架构组件的贡献，并得出结论，添加 LSTM 层可以提高时空 CNN 的性能，而添加残差连接则不会。我们的可解释性结果表明模型的输出与 AASM 指南非常一致，因此，模型的决策对应于领域知识。我们还比较了多模态模型和单通道模型，并建议未来的研究应侧重于改进多模态模型。我们进一步量化了各种架构组件的贡献，并得出结论，添加 LSTM 层可以提高时空 CNN 的性能，而添加残差连接则不会。我们的可解释性结果表明模型的输出与 AASM 指南非常一致，因此，模型的决策对应于领域知识。我们还比较了多模态模型和单通道模型，并建议未来的研究应侧重于改进多模态模型。我们进一步量化了各种架构组件的贡献，并得出结论，添加 LSTM 层可以提高时空 CNN 的性能，而添加残差连接则不会。我们的可解释性结果表明模型的输出与 AASM 指南非常一致，因此，模型的决策对应于领域知识。我们还比较了多模态模型和单通道模型，并建议未来的研究应侧重于改进多模态模型。