The accurate identification of KRAS mutation status on medical images is critical for doctors to specify treatment options for patients with rectal cancer. Deep learning methods have recently been successfully introduced to medical diagnosis and treatment problems, although substantial challenges remain in the computer-aided diagnosis (CAD) due to the lack of large training datasets. In this paper, we propose a multi-branch cross attention model (MBCAM) to separate KRAS mutation cases from wild type cases using limited T2-weighted MRI data. Our model is built on multiple different branches generated based on our existing MRI data, which can take full advantage of the information contained in small data sets. The cross attention block (CA block) is proposed to fuse formerly independent branches to ensure that the model can learn as many common features as possible for preventing the overfitting of the model due to the limited dataset. The inter-branch loss is proposed to constrain the learning range of the model, confirming that the model can learn more general features from multi-branch data. We tested our method on the collected dataset and compared it to four previous works and five popular deep learning models using transfer learning. Our result shows that the MBCAM achieved an accuracy of 88.92% for the prediction of KRAS mutations with an AUC of 95.75%. These results are a significant improvement over those existing methods (p < 0.05).

在医学图像上准确识别KRAS突变状态对于医生确定直肠癌患者的治疗选择至关重要。深度学习方法最近已成功地引入了医学诊断和治疗问题，尽管由于缺少大型训练数据集，计算机辅助诊断（CAD）仍然面临着巨大挑战。在本文中，我们提出了一个多分支交叉注意模型（MBCAM），以使用有限的T2加权MRI数据将KRAS突变病例与野生型病例分开。我们的模型建立在基于我们现有MRI数据生成的多个不同分支上，这些分支可以充分利用小型数据集中包含的信息。建议使用交叉注意块（CA块）融合以前独立的分支，以确保模型可以学习尽可能多的通用特征，以防止由于数据集有限而导致模型过拟合。提出了分支间损失来约束模型的学习范围，从而证实该模型可以从多分支数据中学习更多的一般特征。我们在收集的数据集上测试了我们的方法，并将其与四项先前的研究和五种使用转移学习的流行深度学习模型进行了比较。我们的结果表明，MBCAM预测KRAS突变的准确性达到88.92％，AUC为95.75％。这些结果是对那些现有方法的重大改进（p <0.05）。提出了分支间损失来约束模型的学习范围，从而证实该模型可以从多分支数据中学习更多的一般特征。我们在收集的数据集上测试了我们的方法，并将其与四项先前的研究和五种使用转移学习的流行深度学习模型进行了比较。我们的结果表明，MBCAM预测KRAS突变的准确性达到88.92％，AUC为95.75％。这些结果是对那些现有方法的重大改进（p <0.05）。提出了分支间损失来约束模型的学习范围，从而证实该模型可以从多分支数据中学习更多的一般特征。我们在收集的数据集上测试了我们的方法，并将其与四项先前的研究和五种使用转移学习的流行深度学习模型进行了比较。我们的结果表明，MBCAM预测KRAS突变的准确性达到88.92％，AUC为95.75％。这些结果是对那些现有方法的重大改进（p <0.05）。我们的结果表明，MBCAM预测KRAS突变的准确性达到88.92％，AUC为95.75％。这些结果是对那些现有方法的重大改进（p <0.05）。我们的结果表明，MBCAM预测KRAS突变的准确性达到88.92％，AUC为95.75％。这些结果是对那些现有方法的重大改进（p <0.05）。