When imaging through a semi-reflective medium such as glass, the reflection of another scene can often be found in the captured images. It degrades the quality of the images and affects their subsequent analyses. In this paper, a novel deep neural network approach for solving the reflection problem in imaging is presented. Traditional reflection removal methods not only require long computation time for solving different optimization functions, their performance is also not guaranteed. As array cameras are readily available in nowadays imaging devices, we first suggest in this paper a multiple-image based depth estimation method using a convolutional neural network (CNN). The proposed network avoids the depth ambiguity problem due to the reflection in the image, and directly estimates the depths along the image edges. They are then used to classify the edges as belonging to the background or reflection. Since edges having similar depth values are error prone in the classification, they are removed from the reflection removal process. We suggest a generative adversarial network (GAN) to regenerate the removed background edges. Finally, the estimated background edge map is fed to another auto-encoder network to assist the extraction of the background from the original image. Experimental results show that the proposed reflection removal algorithm achieves superior performance both quantitatively and qualitatively as compared to the state-of-the-art methods. The proposed algorithm also shows much faster speed compared to the existing approaches using the traditional optimization methods.

中文翻译：

---

改进的基于深度神经网络的基于多图像的反射去除算法

通过玻璃等半反射介质成像时，通常会在捕获的图像中发现另一个场景的反射。它会降低图像的质量并影响其后续分析。本文提出了一种新颖的深度神经网络方法来解决成像中的反射问题。传统的反射消除方法不仅需要较长的计算时间来解决不同的优化函数，而且性能也无法得到保证。由于阵列相机在当今的成像设备中很容易获得，因此我们首先在本文中提出一种使用卷积神经网络（CNN）的基于多图像的深度估计方法。所提出的网络避免了由于图像中的反射引起的深度模糊性问题，并直接估计沿图像边缘的深度。然后将它们用于将边缘分类为属于背景或反射。由于具有相似深度值的边缘在分类中容易出错，因此将它们从反射去除过程中去除。我们建议使用生成对抗网络（GAN）来生成删除的背景边缘。最终，将估计的背景边缘图馈送到另一个自动编码器网络，以帮助从原始图像中提取背景。实验结果表明，与最新方法相比，所提出的反射消除算法在数量和质量上均具有优异的性能。与使用传统优化方法的现有方法相比，该算法还显示出更快的速度。由于具有相似深度值的边缘在分类中容易出错，因此将它们从反射去除过程中去除。我们建议使用生成对抗网络（GAN）来生成删除的背景边缘。最终，将估计的背景边缘图馈送到另一个自动编码器网络，以帮助从原始图像中提取背景。实验结果表明，与最新方法相比，所提出的反射消除算法在数量和质量上均具有优异的性能。与使用传统优化方法的现有方法相比，该算法还显示出更快的速度。由于具有相似深度值的边缘在分类中容易出错，因此将它们从反射去除过程中去除。我们建议使用生成对抗网络（GAN）来生成删除的背景边缘。最终，将估计的背景边缘图馈送到另一个自动编码器网络，以帮助从原始图像中提取背景。实验结果表明，与最新方法相比，所提出的反射消除算法在数量和质量上均具有优异的性能。与使用传统优化方法的现有方法相比，该算法还显示出更快的速度。我们建议使用生成对抗网络（GAN）来生成删除的背景边缘。最终，将估计的背景边缘图馈送到另一个自动编码器网络，以帮助从原始图像中提取背景。实验结果表明，与最新方法相比，所提出的反射消除算法在数量和质量上均具有优异的性能。与使用传统优化方法的现有方法相比，该算法还显示出更快的速度。我们建议使用生成对抗网络（GAN）来生成删除的背景边缘。最终，将估计的背景边缘图馈送到另一个自动编码器网络，以帮助从原始图像中提取背景。实验结果表明，与最新方法相比，所提出的反射消除算法在数量和质量上均具有优异的性能。与使用传统优化方法的现有方法相比，该算法还显示出更快的速度。实验结果表明，与最新方法相比，所提出的反射消除算法在数量和质量上均具有优异的性能。与使用传统优化方法的现有方法相比，该算法还显示出更快的速度。实验结果表明，与最新方法相比，所提出的反射消除算法在数量和质量上均具有优异的性能。与使用传统优化方法的现有方法相比，该算法还显示出更快的速度。