During clinical practice, radiologists often use attributes, e.g., morphological and appearance characteristics of a lesion, to aid disease diagnosis. Effectively modeling attributes as well as all relationships involving attributes could boost the generalization ability and verifiability of medical image diagnosis algorithms. In this paper, we introduce a hybrid neuro-probabilistic reasoning algorithm for verifiable attribute-based medical image diagnosis. There are two parallel branches in our hybrid algorithm, a Bayesian network branch performing probabilistic causal relationship reasoning and a graph convolutional network branch performing more generic relational modeling and reasoning using a feature representation. Tight coupling between these two branches is achieved via a cross-network attention mechanism and the fusion of their classification results. We have successfully applied our hybrid reasoning algorithm to two challenging medical image diagnosis tasks. On the LIDC-IDRI benchmark dataset for benign-malignant classification of pulmonary nodules in CT images, our method achieves a new state-of-the-art accuracy of 95.36% and an AUC of 96.54%. Our method also achieves a 3.24% accuracy improvement on an in-house chest X-ray image dataset for tuberculosis diagnosis. Our ablation study indicates that our hybrid algorithm achieves a much better generalization performance than a pure neural network architecture under very limited training data.

中文翻译：

---

像放射科医生一样进行诊断：用于基于属性的医学图像诊断的混合神经概率推理。

在临床实践中，放射科医师经常使用损伤的形态学和外观特征等属性来帮助疾病诊断。有效地建模属性以及涉及属性的所有关系可以提高医学图像诊断算法的泛化能力和可验证性。在本文中，我们介绍了一种用于可验证的基于属性的医学图像诊断的混合神经概率推理算法。我们的混合算法中有两个并行分支，一个执行概率因果关系推理的贝叶斯网络分支和一个使用特征表示执行更通用的关系建模和推理的图卷积网络分支。这两个分支之间的紧密耦合是通过跨网络注意机制和它们的分类结果的融合来实现的。我们已经成功地将我们的混合推理算法应用于两个具有挑战性的医学图像诊断任务。在用于 CT 图像中肺结节良恶性分类的 LIDC-IDRI 基准数据集上，我们的方法达到了 95.36% 的最新技术水平和 96.54% 的 AUC。我们的方法还在用于结核病诊断的内部胸部 X 射线图像数据集上实现了 3.24% 的准确度提高。我们的消融研究表明，我们的混合算法在非常有限的训练数据下实现了比纯神经网络架构更好的泛化性能。我们已经成功地将我们的混合推理算法应用于两个具有挑战性的医学图像诊断任务。在用于 CT 图像中肺结节良恶性分类的 LIDC-IDRI 基准数据集上，我们的方法达到了 95.36% 的最新技术水平和 96.54% 的 AUC。我们的方法还在用于结核病诊断的内部胸部 X 射线图像数据集上实现了 3.24% 的准确度提高。我们的消融研究表明，我们的混合算法在非常有限的训练数据下实现了比纯神经网络架构更好的泛化性能。我们已经成功地将我们的混合推理算法应用于两个具有挑战性的医学图像诊断任务。在用于 CT 图像中肺结节良恶性分类的 LIDC-IDRI 基准数据集上，我们的方法达到了 95.36% 的最新技术水平和 96.54% 的 AUC。我们的方法还在用于结核病诊断的内部胸部 X 射线图像数据集上实现了 3.24% 的准确度提高。我们的消融研究表明，我们的混合算法在非常有限的训练数据下实现了比纯神经网络架构更好的泛化性能。用于结核病诊断的内部胸部 X 射线图像数据集的准确度提高了 24%。我们的消融研究表明，我们的混合算法在非常有限的训练数据下实现了比纯神经网络架构更好的泛化性能。用于结核病诊断的内部胸部 X 射线图像数据集的准确度提高了 24%。我们的消融研究表明，我们的混合算法在非常有限的训练数据下实现了比纯神经网络架构更好的泛化性能。