It is possible to generate stereo high dynamic range (HDR) images/videos by using a pair of cameras with different exposure parameters. In this article, a learning-based stereo HDR imaging (SHDRI) method with three modules is proposed. In the proposed method, we construct three convolutional neural network (CNN) modules that perform specific tasks, including exposure calibration CNN (EC-CNN) module, hole-filling CNN (HF-CNN) module and HDR fusion CNN (HDRF-CNN) module, to combine with traditional image processing methods to model SHDRI pipeline. To avoid ambiguity, we assume that the left-view image is under-exposed and the right-view image is over-exposed. Specifically, the EC-CNN module is first constructed to convert stereo multi-exposure images into the same exposure to facilitate subsequent stereo matching. Then, based on the estimated disparity map, the right-view image is forward-warped to generate the initial left-view over-exposure image. After that, extra exposure information is utilized to guide hole-filling. Finally, the HDRF-CNN module is constructed and employed to extract fusion features to fuse the hole-filled left-view over-exposure image with the original left-view under-exposure image into the left-view HDR image. Right-view HDR images can be generated in the same way. In addition, we propose an effective two-phase training strategy to overcome the lack of a sufficient large stereo multi-exposure dataset. The experimental results demonstrate that the proposed method can generate stereo HDR images with high visual quality. Furthermore, the proposed method achieves better performance in comparison with the latest SHDRI method.

中文翻译：

---

从一对不同曝光参数的相机学习立体高动态范围成像

通过使用具有不同曝光参数的一对相机，可以生成立体高动态范围 (HDR) 图像/视频。在本文中，提出了一种具有三个模块的基于学习的立体 HDR 成像 (SHHDRI) 方法。在所提出的方法中，我们构建了三个执行特定任务的卷积神经网络 (CNN) 模块，包括曝光校准 CNN (EC-CNN) 模块、填孔 CNN (HF-CNN) 模块和 HDR 融合 CNN (HDRF-CNN)模块，结合传统的图像处理方法对 SHRI 管道进行建模。为了避免歧义，我们假设左视图图像曝光不足，右视图图像曝光过度。具体来说，首先构造EC-CNN模块，将立体多重曝光图像转换为相同曝光，以方便后续的立体匹配。然后，基于估计的视差图，右视图像被前向扭曲以生成初始左视过度曝光图像。之后，利用额外的曝光信息来指导孔填充。最后，构建并使用HDRF-CNN模块提取融合特征，将填孔的左眼过度曝光图像与原始左眼曝光不足图像融合到左眼HDR图像中。右视 HDR 图像可以用同样的方式生成。此外，我们提出了一种有效的两阶段训练策略来克服缺乏足够大的立体多重曝光数据集的问题。实验结果表明，所提出的方法可以生成具有高视觉质量的立体 HDR 图像。此外，与最新的 SHRI 方法相比，所提出的方法具有更好的性能。右视图像被前向扭曲以生成初始的左视过度曝光图像。之后，利用额外的曝光信息来指导孔填充。最后，构建并使用HDRF-CNN模块提取融合特征，将填孔的左眼过度曝光图像与原始左眼曝光不足图像融合到左眼HDR图像中。右视 HDR 图像可以用同样的方式生成。此外，我们提出了一种有效的两阶段训练策略来克服缺乏足够大的立体多重曝光数据集的问题。实验结果表明，所提出的方法可以生成具有高视觉质量的立体 HDR 图像。此外，与最新的 SHRI 方法相比，所提出的方法具有更好的性能。右视图像被前向扭曲以生成初始的左视过度曝光图像。之后，利用额外的曝光信息来指导孔填充。最后，构建并使用HDRF-CNN模块提取融合特征，将填孔的左眼过度曝光图像与原始左眼曝光不足图像融合到左眼HDR图像中。右视 HDR 图像可以用同样的方式生成。此外，我们提出了一种有效的两阶段训练策略来克服缺乏足够大的立体多重曝光数据集的问题。实验结果表明，所提出的方法可以生成具有高视觉质量的立体 HDR 图像。此外，与最新的 SHRI 方法相比，所提出的方法具有更好的性能。