In this paper, a squeeze-and-decomposition network (SDNet) is proposed to realize multi-modal and digital photography image fusion in real time. Firstly, we generally transform multiple fusion problems into the extraction and reconstruction of gradient and intensity information, and design a universal form of loss function accordingly, which is composed of intensity term and gradient term. For the gradient term, we introduce an adaptive decision block to decide the optimization target of the gradient distribution according to the texture richness at the pixel scale, so as to guide the fused image to contain richer texture details. For the intensity term, we adjust the weight of each intensity loss term to change the proportion of intensity information from different images, so that it can be adapted to multiple image fusion tasks. Secondly, we introduce the idea of squeeze and decomposition into image fusion. Specifically, we consider not only the squeeze process from source images to the fused result, but also the decomposition process from the fused result to source images. Because the quality of decomposed images directly depends on the fused result, it can force the fused result to contain more scene details. Experimental results demonstrate the superiority of our method over the state-of-the-arts in terms of subjective visual effect and quantitative metrics in a variety of fusion tasks. Moreover, our method is much faster than the state-of-the-arts, which can deal with real-time fusion tasks.

在本文中，提出了一种挤压分解网络（SDNet）来实时实现多模态和数字摄影图像融合。首先，我们一般将多个融合问题转化为梯度和强度信息的提取和重构，并据此设计一个通用的损失函数形式，由强度项和梯度项组成。对于梯度项，我们引入了一个自适应决策块，根据像素尺度上的纹理丰富度来决定梯度分布的优化目标，从而引导融合图像包含更丰富的纹理细节。对于强度项，我们调整每个强度损失项的权重来改变来自不同图像的强度信息的比例，使其能够适应多个图像融合任务。其次，我们将挤压和分解的思想引入到图像融合中。具体来说，我们不仅考虑了从源图像到融合结果的挤压过程，还考虑了从融合结果到源图像的分解过程。因为分解图像的质量直接取决于融合结果，它可以强制融合结果包含更多的场景细节。实验结果证明了我们的方法在各种融合任务中的主观视觉效果和定量指标方面优于现有技术。此外，我们的方法比最先进的方法快得多，可以处理实时融合任务。以及从融合结果到源图像的分解过程。因为分解图像的质量直接取决于融合结果，它可以强制融合结果包含更多的场景细节。实验结果证明了我们的方法在各种融合任务中的主观视觉效果和定量指标方面优于现有技术。此外，我们的方法比最先进的方法快得多，可以处理实时融合任务。以及从融合结果到源图像的分解过程。因为分解图像的质量直接取决于融合结果，它可以强制融合结果包含更多的场景细节。实验结果证明了我们的方法在各种融合任务中的主观视觉效果和定量指标方面优于现有技术。此外，我们的方法比最先进的方法快得多，可以处理实时融合任务。实验结果证明了我们的方法在各种融合任务中的主观视觉效果和定量指标方面优于现有技术。此外，我们的方法比最先进的方法快得多，可以处理实时融合任务。实验结果证明了我们的方法在各种融合任务中的主观视觉效果和定量指标方面优于现有技术。此外，我们的方法比最先进的方法快得多，可以处理实时融合任务。