当前位置: X-MOL 学术Comput. Vis. Image Underst. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Single-image deblurring with neural networks: A comparative survey
Computer Vision and Image Understanding ( IF 4.3 ) Pub Date : 2020-11-07 , DOI: 10.1016/j.cviu.2020.103134
Jaihyun Koh , Jangho Lee , Sungroh Yoon

Neural networks (NNs) are becoming the tool of choice for sharpening blurred images. We discuss and categorize deblurring NNs. Then we evaluate seven NNs for non-blind deblurring (NBD), and seven NNs and four optimization techniques for blind deblurring (BD). To do this we use several current datasets containing pairs of sharp and blurred images, synthesized either by convolving sharp images with blur kernels or by averaging consecutive sharp images, so as to produce both uniform and non-uniform blurs. We also introduce a newly reorganized benchmark dataset in which blurred images have been classified using attributes that depend on the extent of the blur. We use this dataset to compare the effectiveness of single and multi-scale training in coping with large blurs. On NBD, NNs that use regularization with a denoising prior network outperform other denoising NNs; and NNs that use a deep image prior network outperform other deconvolution NNs. On BD, NNs outperform optimizations in signal-difference terms, but not in terms of perceptual fidelity. We found that multi-scale training helps NNs to deal with large blurs, and RNNs outperform CNNs. We also observed that GANs using a perceptual loss function produce artifacts; but also that some form of perceptual fidelity loss is required to get the best results from NNs. We contend that the domain bias of current datasets works against robustness and generality. And we discuss the potential of more sophisticated perceptual loss functions, attention techniques, and unsupervised learning.



中文翻译:

神经网络对单图像去模糊的比较研究

神经网络(NNs)成为锐化模糊图像的首选工具。我们讨论去模糊神经网络并对其进行分类。然后,我们评估了用于非盲去模糊(NBD)的七个NN,以及用于盲去模糊(BD)的七个NN和四种优化技术。为此,我们使用了几个包含清晰和模糊图像对的当前数据集,这些数据集是通过将清晰图像与模糊核进行卷积或对连续的清晰图像进行平均来合成的,从而产生均匀和不均匀的模糊。我们还介绍了一个新近重组的基准数据集,其中已使用取决于模糊程度的属性对模糊图像进行了分类。我们使用此数据集来比较单次和多次训练在应对大模糊效果方面的有效性。在NBD上,在去噪先验网络中使用正则化的NN优于其他去噪NN。使用深图像先验网络的神经网络要优于其他反卷积神经网络。在BD上,NN在信号差异方面优于优化,但在感知保真度方面却不如优化。我们发现,多尺度训练有助于神经网络处理较大的模糊,而神经网络的性能优于CNN。我们还观察到,使用感知损失函数的GAN会产生伪像。而且还需要某种形式的感知保真度损失才能从NN获得最佳结果。我们认为当前数据集的域偏差不利于鲁棒性和普遍性。并且我们讨论了更复杂的感知损失功能,注意力技巧和无监督学习的潜力。使用深图像先验网络的神经网络要优于其他反卷积神经网络。在BD上,NN在信号差异方面优于优化,但在感知保真度方面却不如优化。我们发现,多尺度训练有助于神经网络处理较大的模糊,而神经网络的性能优于CNN。我们还观察到,使用感知损失函数的GAN会产生伪像。而且还需要某种形式的感知保真度损失才能从NN获得最佳结果。我们认为当前数据集的域偏差不利于鲁棒性和普遍性。并且我们讨论了更复杂的感知损失功能,注意力技巧和无监督学习的潜力。使用深图像先验网络的神经网络要优于其他反卷积神经网络。在BD上,NN在信号差异方面优于优化,但在感知保真度方面却不如优化。我们发现,多尺度训练有助于神经网络处理较大的模糊,而神经网络的性能优于CNN。我们还观察到,使用感知损失函数的GAN会产生伪像。而且还需要某种形式的感知保真度损失才能从NN获得最佳结果。我们认为当前数据集的域偏差不利于鲁棒性和普遍性。并且我们讨论了更复杂的感知损失功能,注意力技巧和无监督学习的潜力。RNN的表现优于CNN。我们还观察到,使用感知损失函数的GAN会产生伪像。而且还需要某种形式的感知保真度损失才能从NN获得最佳结果。我们认为当前数据集的域偏差不利于鲁棒性和普遍性。并且我们讨论了更复杂的感知损失功能,注意力技巧和无监督学习的潜力。RNN的表现优于CNN。我们还观察到,使用感知损失函数的GAN会产生伪像。而且还需要某种形式的感知保真度损失才能从NN获得最佳结果。我们认为当前数据集的域偏差不利于鲁棒性和普遍性。并且我们讨论了更复杂的感知损失功能,注意力技巧和无监督学习的潜力。

更新日期:2020-11-12
down
wechat
bug