Background

COVID-19 has caused 3.34m deaths till 13/May/2021. It is now still causing confirmed cases and ongoing deaths every day.

Method

This study investigated whether fusing chest CT with chest X-ray can help improve the AI's diagnosis performance. Data harmonization is employed to make a homogeneous dataset. We create an end-to-end multiple-input deep convolutional attention network (MIDCAN) by using the convolutional block attention module (CBAM). One input of our model receives 3D chest CT image, and other input receives 2D X-ray image. Besides, multiple-way data augmentation is used to generate fake data on training set. Grad-CAM is used to give explainable heatmap.

Results

The proposed MIDCAN achieves a sensitivity of 98.10±1.88%, a specificity of 97.95±2.26%, and an accuracy of 98.02±1.35%.

Conclusion

Our MIDCAN method provides better results than 8 state-of-the-art approaches. We demonstrate the using multiple modalities can achieve better results than individual modality. Also, we demonstrate that CBAM can help improve the diagnosis performance.

中文翻译：

---

MIDCAN：基于胸部 CT 和胸部 X 光的用于 Covid-19 诊断的多输入深度卷积注意力网络

背景

截至 2021 年 5 月 13 日，COVID-19 已造成 334 万人死亡。现在每天仍在造成确诊病例和持续死亡。

方法

本研究调查了将胸部 CT 与胸部 X 光融合是否有助于提高 AI 的诊断性能。数据协调用于制作同质数据集。我们使用卷积块注意模块 (CBAM) 创建端到端多输入深度卷积注意网络 (MIDCAN)。我们模型的一个输入接收 3D 胸部 CT 图像，另一个输入接收 2D X 射线图像。此外，多路数据增强用于在训练集上生成假数据。Grad-CAM 用于提供可解释的热图。

结果

所提出的 MIDCAN 的灵敏度为 98.10±1.88%，特异性为 97.95±2.26%，准确度为 98.02±1.35%。

结论

我们的 MIDCAN 方法比 8 种最先进的方法提供了更好的结果。我们证明使用多种模式可以获得比单独模式更好的结果。此外，我们证明 CBAM 可以帮助提高诊断性能。