Skin lesion diagnosis is a key step for skin cancer screening, which requires high accuracy and interpretability. Though many computer-aided methods, especially deep learning methods, have made remarkable achievements in skin lesion diagnosis, their generalization and interpretability are still a challenge. To solve this issue, we propose an interpretability-based multimodal convolutional neural network (IM-CNN), which is a multiclass classification model with skin lesion images and metadata of patients as input for skin lesion diagnosis. The structure of IM-CNN consists of three main paths to deal with metadata, features extracted from segmented skin lesion with domain knowledge, and skin lesion images, respectively. We add interpretable visual modules to provide explanations for both images and metadata. In addition to area under the ROC curve (AUC), sensitivity, and specificity, we introduce a new indicator, an AUC curve with a sensitivity larger than 80% (AUC_SEN_80) for performance evaluation. Extensive experimental studies are conducted on the popular HAM10000 dataset, and the results indicate that the proposed model has overwhelming advantages compared with popular deep learning models, such as DenseNet, ResNet, and other state-of-the-art models for melanoma diagnosis. The proposed multimodal model also achieves on average 72% and 21% improvement in terms of sensitivity and AUC_SEN_80, respectively, compared with the single-modal model. The visual explanations can also help gain trust from dermatologists and realize man–machine collaborations, effectively reducing the limitation of black-box models in supporting medical decision making.

中文翻译：

---

基于可解释性的多模态卷积神经网络用于皮肤病变诊断

皮肤病变诊断是皮肤癌筛查的关键步骤，需要较高的准确性和可解释性。尽管许多计算机辅助方法，特别是深度学习方法，在皮肤病变诊断方面取得了显著成就，但它们的泛化性和可解释性仍然是一个挑战。为了解决这个问题，我们提出了一种基于可解释性的多模态卷积神经网络 (IM-CNN)，它是一种多类分类模型，以皮肤病变图像和患者元数据作为皮肤病变诊断的输入。IM-CNN 的结构包括处理元数据的三个主要路径，分别使用领域知识从分割的皮肤病变中提取的特征，以及皮肤病变图像。我们添加了可解释的视觉模块来为图像和元数据提供解释。除了ROC曲线下面积（AUC）、灵敏度和特异性之外，我们还引入了一个新的指标，即灵敏度大于80%的AUC曲线（AUC_SEN_80）用于性能评估。对流行的 HAM10000 数据集进行了广泛的实验研究，结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。灵敏度和特异性，我们引入了一个新的指标，即灵敏度大于80%的AUC曲线（AUC_SEN_80）用于性能评估。对流行的 HAM10000 数据集进行了广泛的实验研究，结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。灵敏度和特异性，我们引入了一个新的指标，即灵敏度大于80%的AUC曲线（AUC_SEN_80）用于性能评估。对流行的 HAM10000 数据集进行了广泛的实验研究，结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。我们引入了一个新的指标，即灵敏度大于 80% 的 AUC 曲线（AUC_SEN_80）用于性能评估。对流行的 HAM10000 数据集进行了广泛的实验研究，结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。我们引入了一个新的指标，即灵敏度大于 80% 的 AUC 曲线（AUC_SEN_80）用于性能评估。对流行的 HAM10000 数据集进行了广泛的实验研究，结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。用于性能评估的灵敏度大于 80% (AUC_SEN_80) 的 AUC 曲线。对流行的 HAM10000 数据集进行了广泛的实验研究，结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。用于性能评估的灵敏度大于 80% (AUC_SEN_80) 的 AUC 曲线。对流行的 HAM10000 数据集进行了广泛的实验研究，结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。结果表明，与流行的深度学习模型（例如 DenseNet、ResNet 和其他最先进的黑色素瘤诊断模型）相比，所提出的模型具有压倒性的优势。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。与单模态模型相比，所提出的多模态模型在灵敏度和 AUC_SEN_80 方面分别平均提高了 72% 和 21%。视觉解释还有助于获得皮肤科医生的信任，实现人机协作，有效减少黑盒模型在支持医疗决策方面的局限性。