There are various inverse problems – including reconstruction problems arising in medical imaging - where one is often aware of the forward operator that maps variables of interest to the observations. It is therefore natural to ask whether such knowledge of the forward operator can be exploited in deep learning approaches increasingly used to solve inverse problems. In this paper, we provide one such way via an analysis of the generalisation error of deep learning approaches to inverse problems. In particular, by building on the algorithmic robustness framework, we offer a generalisation error bound that encapsulates key ingredients associated with the learning problem such as the complexity of the data space, the size of the training set, the Jacobian of the deep neural network and the Jacobian of the composition of the forward operator with the neural network. We then propose a ‘plug-and-play’ regulariser that leverages the knowledge of the forward map to improve the generalization of the network. We likewise also use a new method allowing us to tightly upper bound the Jacobians of the relevant operators that is much more computationally efficient than existing ones. We demonstrate the efficacy of our model-aware regularised deep learning algorithms against other state-of-the-art approaches on inverse problems involving various sub-sampling operators such as those used in classical compressed sensing tasks, image super-resolution problems and accelerated Magnetic Resonance Imaging (MRI) setups.

中文翻译：

---

深度学习模型感知调节与逆问题的应用

存在各种逆问题——包括医学成像中出现的重建问题——人们经常意识到将感兴趣的变量映射到观察结果的前向算子。因此，很自然地会问，是否可以在越来越多地用于解决逆问题的深度学习方法中利用前向算子的这种知识。在本文中，我们通过分析深度学习方法对逆问题的泛化误差提供了一种这样的方法。特别是，通过建立在算法鲁棒性框架的基础上，我们提供了一个泛化误差界限，它封装了与学习问题相关的关键因素，例如数据空间的复杂性、训练集的大小、深度神经网络的雅可比和前向算子与神经网络的组合的雅可比。然后，我们提出了一种“即插即用”正则化器，它利用前向映射的知识来改进网络的泛化。同样，我们还使用了一种新方法，使我们能够严格限制相关运算符的雅可比矩阵，该方法的计算效率比现有运算符高得多。我们展示了我们的模型感知正则化深度学习算法对涉及各种子采样算子的逆问题的其他最先进方法的功效，例如经典压缩传感任务、图像超分辨率问题和加速磁共振成像 (MRI) 设置。然后，我们提出了一种“即插即用”正则化器，它利用前向映射的知识来改进网络的泛化。同样，我们还使用了一种新方法，使我们能够严格限制相关运算符的雅可比矩阵，该方法的计算效率比现有运算符高得多。我们展示了我们的模型感知正则化深度学习算法与其他最先进的方法对涉及各种子采样算子的逆问题的有效性，例如经典压缩传感任务中使用的那些，图像超分辨率问题和加速磁共振成像 (MRI) 设置。然后，我们提出了一种“即插即用”正则化器，它利用前向映射的知识来改进网络的泛化。同样，我们还使用了一种新方法，使我们能够严格限制相关运算符的雅可比矩阵，该方法的计算效率比现有运算符高得多。我们展示了我们的模型感知正则化深度学习算法与其他最先进的方法对涉及各种子采样算子的逆问题的有效性，例如经典压缩传感任务中使用的那些，图像超分辨率问题和加速磁共振成像 (MRI) 设置。同样，我们还使用了一种新方法，使我们能够严格限制相关运算符的雅可比矩阵，该方法的计算效率比现有运算符高得多。我们展示了我们的模型感知正则化深度学习算法与其他最先进的方法对涉及各种子采样算子的逆问题的有效性，例如经典压缩传感任务中使用的那些，图像超分辨率问题和加速磁共振成像 (MRI) 设置。同样，我们还使用了一种新方法，使我们能够严格限制相关运算符的雅可比矩阵，该方法的计算效率比现有运算符高得多。我们展示了我们的模型感知正则化深度学习算法与其他最先进的方法对涉及各种子采样算子的逆问题的有效性，例如经典压缩传感任务中使用的那些，图像超分辨率问题和加速磁共振成像 (MRI) 设置。