Automatic chest radiology report generation is critical in clinics which can relieve experienced radiologists from the heavy workload and remind inexperienced radiologists of misdiagnosis or missed diagnose. Existing approaches mainly formulate chest radiology report generation as an image captioning task and adopt the encoder-decoder framework. However, in the medical domain, such pure data-driven approaches suffer from the following problems: 1) visual and textual bias problem; 2) lack of expert knowledge. In this paper, we propose a knowledge-enhanced radiology report generation approach introduces two types of medical knowledge: 1) General knowledge, which is input independent and provides the broad knowledge for report generation; 2) Specific knowledge, which is input dependent and provides the fine-grained knowledge for chest X-ray report generation. To fully utilize both the general and specific knowledge, we also propose a knowledge-enhanced multi-head attention mechanism. By merging the visual features of the radiology image with general knowledge and specific knowledge, the proposed model can improve the quality of generated reports. The experimental results on the publicly available IU-Xray dataset show that the proposed knowledge-enhanced approach outperforms state-of-the-art methods in almost all metrics. And the results of MIMIC-CXR dataset show that the proposed knowledge-enhanced approach is on par with state-of-the-art methods. Ablation studies also demonstrate that both general and specific knowledge can help to improve the performance of chest radiology report generation.

自动胸部放射报告生成在诊所中至关重要，它可以减轻有经验的放射科医师的繁重工作量，并提醒没有经验的放射科医师误诊或漏诊。现有方法主要将胸部放射学报告生成制定为图像字幕任务，并采用编码器-解码器框架。然而，在医学领域，这种纯数据驱动的方法存在以下问题：1）视觉和文本偏差问题；2）缺乏专业知识。在本文中，我们提出了一种知识增强的放射学报告生成方法，引入了两类医学知识：1）通用知识，它独立于输入，为报告生成提供了广泛的知识；2）具体知识，它依赖于输入，并为生成胸部 X 光报告提供了细粒度的知识。为了充分利用一般知识和特定知识，我们还提出了一种知识增强的多头注意力机制。通过将放射学图像的视觉特征与一般知识和特定知识相结合，所提出的模型可以提高生成报告的质量。公开可用的 IU-Xray 数据集的实验结果表明，所提出的知识增强方法在几乎所有指标上都优于最先进的方法。MIMIC-CXR 数据集的结果表明，所提出的知识增强方法与最先进的方法相当。消融研究还表明，一般知识和特定知识都有助于提高胸部放射报告生成的性能。为了充分利用一般知识和特定知识，我们还提出了一种知识增强的多头注意力机制。通过将放射学图像的视觉特征与一般知识和特定知识相结合，所提出的模型可以提高生成报告的质量。公开可用的 IU-Xray 数据集的实验结果表明，所提出的知识增强方法在几乎所有指标上都优于最先进的方法。MIMIC-CXR 数据集的结果表明，所提出的知识增强方法与最先进的方法相当。消融研究还表明，一般知识和特定知识都有助于提高胸部放射报告生成的性能。为了充分利用一般知识和特定知识，我们还提出了一种知识增强的多头注意力机制。通过将放射学图像的视觉特征与一般知识和特定知识相结合，所提出的模型可以提高生成报告的质量。公开可用的 IU-Xray 数据集的实验结果表明，所提出的知识增强方法在几乎所有指标上都优于最先进的方法。MIMIC-CXR 数据集的结果表明，所提出的知识增强方法与最先进的方法相当。消融研究还表明，一般知识和特定知识都有助于提高胸部放射报告生成的性能。我们还提出了一种知识增强的多头注意力机制。通过将放射学图像的视觉特征与一般知识和特定知识相结合，所提出的模型可以提高生成报告的质量。公开可用的 IU-Xray 数据集的实验结果表明，所提出的知识增强方法在几乎所有指标上都优于最先进的方法。MIMIC-CXR 数据集的结果表明，所提出的知识增强方法与最先进的方法相当。消融研究还表明，一般知识和特定知识都有助于提高胸部放射报告生成的性能。我们还提出了一种知识增强的多头注意力机制。通过将放射学图像的视觉特征与一般知识和特定知识相结合，所提出的模型可以提高生成报告的质量。公开可用的 IU-Xray 数据集的实验结果表明，所提出的知识增强方法在几乎所有指标上都优于最先进的方法。MIMIC-CXR 数据集的结果表明，所提出的知识增强方法与最先进的方法相当。消融研究还表明，一般知识和特定知识都有助于提高胸部放射报告生成的性能。所提出的模型可以提高生成报告的质量。公开可用的 IU-Xray 数据集的实验结果表明，所提出的知识增强方法在几乎所有指标上都优于最先进的方法。MIMIC-CXR 数据集的结果表明，所提出的知识增强方法与最先进的方法相当。消融研究还表明，一般知识和特定知识都有助于提高胸部放射报告生成的性能。所提出的模型可以提高生成报告的质量。公开可用的 IU-Xray 数据集的实验结果表明，所提出的知识增强方法在几乎所有指标上都优于最先进的方法。MIMIC-CXR 数据集的结果表明，所提出的知识增强方法与最先进的方法相当。消融研究还表明，一般知识和特定知识都有助于提高胸部放射报告生成的性能。