It has been proven that neuropsychiatric disorders (NDs) can be associated with both structures and functions of brain regions. Thus, data about structures and functions could be usefully combined in a comprehensive analysis. While brain structural MRI (sMRI) images contain anatomic and morphological information about NDs, functional MRI (fMRI) images carry complementary information. However, efficient extraction and fusion of sMRI and fMRI data remains challenging. In this study, we develop an enhanced multi-modal graph convolutional network (MME-GCN) in a binary classification between patients with NDs and healthy controls, based on the fusion of the structural and functional graphs of the brain region. First, based on the same brain atlas, we construct structural and functional graphs from sMRI and fMRI data, respectively. Second, we use machine learning to extract important features from the structural graph network. Third, we use these extracted features to adjust the corresponding edge weights in the functional graph network. Finally, we train a multi-layer GCN and use it in binary classification task. MME-GCN achieved 93.71% classification accuracy on the open data set provided by the Consortium for Neuropsychiatric Phenomics. In addition, we analyzed the important features selected from the structural graph and verified them in the functional graph. Using MME-GCN, we found several specific brain connections important to NDs.

已经证明，神经精神疾病 (NDs) 可能与大脑区域的结构和功能有关。因此，有关结构和功能的数据可以有效地结合到综合分析中。虽然脑结构 MRI (sMRI) 图像包含有关 ND 的解剖学和形态学信息，但功能 MRI (fMRI) 图像携带补充信息。然而，有效提取和融合 sMRI 和 fMRI 数据仍然具有挑战性。在这项研究中，我们基于大脑区域的结构和功能图的融合，开发了一种增强型多模态图卷积网络 (MME-GCN)，用于 ND 患者和健康对照之间的二元分类。首先，基于相同的大脑图谱，我们分别从 sMRI 和 fMRI 数据构建结构图和功能图。第二，我们使用机器学习从结构图网络中提取重要特征。第三，我们使用这些提取的特征来调整功能图网络中相应的边权重。最后，我们训练了一个多层 GCN 并将其用于二元分类任务。MME-GCN 在 Consortium for Neuropsychiatric Phenomics 提供的开放数据集上实现了 93.71% 的分类准确率。此外，我们分析了从结构图中选择的重要特征，并在功能图中对其进行了验证。使用 MME-GCN，我们发现了几个对 ND 很重要的特定大脑连接。我们训练多层 GCN 并将其用于二元分类任务。MME-GCN 在 Consortium for Neuropsychiatric Phenomics 提供的开放数据集上实现了 93.71% 的分类准确率。此外，我们分析了从结构图中选择的重要特征，并在功能图中对其进行了验证。使用 MME-GCN，我们发现了几个对 ND 很重要的特定大脑连接。我们训练多层 GCN 并将其用于二元分类任务。MME-GCN 在 Consortium for Neuropsychiatric Phenomics 提供的开放数据集上实现了 93.71% 的分类准确率。此外，我们分析了从结构图中选择的重要特征，并在功能图中对其进行了验证。使用 MME-GCN，我们发现了几个对 ND 很重要的特定大脑连接。