In this paper, we proposed a new end-to-end model, termed as dual-discriminator conditional generative adversarial network (DDcGAN), for fusing infrared and visible images of different resolutions. Our method establishes an adversarial game between a generator and two discriminators. The generator aims to generate a real-like fused image based on a specifically designed content loss to fool the two discriminators, while the two discriminators aim to distinguish the structure differences between the fused image and two source images, respectively, in addition to the content loss. Consequently, the fused image is forced to simultaneously keep the thermal radiation in the infrared image and the texture details in the visible image. Moreover, to fuse source images of different resolutions, e.g., a low-resolution infrared image and a high-resolution visible image, our DDcGAN constrains the downsampled fused image to have similar property with the infrared image. This can avoid causing thermal radiation information blurring or visible texture detail loss, which typically happens in traditional methods. In addition, we also apply our DDcGAN to fusing multi-modality medical images of different resolutions, e.g., a low-resolution positron emission tomography image and a high-resolution magnetic resonance image. The qualitative and quantitative experiments on publicly available datasets demonstrate the superiority of our DDcGAN over the state-of-the-art, in terms of both visual effect and quantitative metrics. Our code is publicly available at https://github.com/jiayi-ma/DDcGAN.

中文翻译：

---

DDcGAN：用于多分辨率图像融合的双鉴别器条件生成对抗网络

在本文中，我们提出了一种新的端到端模型，称为双鉴别器条件生成对抗网络（DDcGAN），用于融合不同分辨率的红外图像和可见图像。我们的方法在生成器和两个鉴别器之间建立对抗游戏。生成器旨在基于专门设计的内容损失来生成真实的融合图像，以欺骗两个鉴别器，而两个鉴别器的目的是分别区分内容之外的融合图像和两个源图像之间的结构差异失利。因此，迫使融合图像同时保持红外图像中的热辐射和可见图像中的纹理细节。此外，为了融合不同分辨率的源图像，例如，对于低分辨率的红外图像和高分辨率的可见图像，我们的DDcGAN限制了降采样后的融合图像具有与红外图像相似的属性。这可以避免引起热辐射信息模糊或可见纹理细节损失，这通常发生在传统方法中。此外，我们还将DDcGAN应用于融合不同分辨率的多模态医学图像，例如低分辨率正电子发射断层扫描图像和高分辨率磁共振图像。在公开效果的数据集上进行的定性和定量实验证明，无论是视觉效果还是定量指标，DDcGAN都比最新技术优越。我们的代码可从https://github.com/jiayi-ma/DDcGAN公开获得。我们的DDcGAN限制了降采样后的融合图像具有与红外图像相似的属性。这可以避免引起热辐射信息模糊或可见纹理细节损失，这通常发生在传统方法中。此外，我们还将DDcGAN应用于融合不同分辨率的多模式医学图像，例如低分辨率正电子发射断层扫描图像和高分辨率磁共振图像。在公开效果的数据集上进行的定性和定量实验证明，无论是视觉效果还是定量指标，DDcGAN均优于最新技术。我们的代码可从https://github.com/jiayi-ma/DDcGAN公开获得。我们的DDcGAN限制了降采样后的融合图像具有与红外图像相似的属性。这可以避免引起热辐射信息模糊或可见纹理细节损失，这通常发生在传统方法中。此外，我们还将DDcGAN应用于融合不同分辨率的多模态医学图像，例如低分辨率正电子发射断层扫描图像和高分辨率磁共振图像。在公开效果的数据集上进行的定性和定量实验证明，无论是视觉效果还是定量指标，DDcGAN均优于最新技术。我们的代码可从https://github.com/jiayi-ma/DDcGAN公开获得。这可以避免引起热辐射信息模糊或可见纹理细节损失，这通常发生在传统方法中。此外，我们还将DDcGAN应用于融合不同分辨率的多模式医学图像，例如低分辨率正电子发射断层扫描图像和高分辨率磁共振图像。在公开效果的数据集上进行的定性和定量实验证明，无论是视觉效果还是定量指标，DDcGAN都比最新技术优越。我们的代码可从https://github.com/jiayi-ma/DDcGAN公开获得。这可以避免引起热辐射信息模糊或可见纹理细节损失，这通常发生在传统方法中。此外，我们还将DDcGAN应用于融合不同分辨率的多模式医学图像，例如低分辨率正电子发射断层扫描图像和高分辨率磁共振图像。在公开效果的数据集上进行的定性和定量实验证明，无论是视觉效果还是定量指标，DDcGAN均优于最新技术。我们的代码可从https://github.com/jiayi-ma/DDcGAN公开获得。低分辨率正电子发射断层扫描图像和高分辨率磁共振图像。在公开效果的数据集上进行的定性和定量实验证明，无论是视觉效果还是定量指标，DDcGAN都比最新技术优越。我们的代码可从https://github.com/jiayi-ma/DDcGAN公开获得。低分辨率正电子发射断层扫描图像和高分辨率磁共振图像。在公开效果的数据集上进行的定性和定量实验证明，无论是视觉效果还是定量指标，DDcGAN都比最新技术优越。我们的代码可从https://github.com/jiayi-ma/DDcGAN公开获得。