We propose a novel deep example‐based image colourization method called dense encoding pyramid network. In our study, we define the colourization as a multinomial classification problem. Given a greyscale image and a reference image, the proposed network leverages large‐scale data and then predicts colours by analysing the colour distribution of the reference image. We design the network as a pyramid structure in order to exploit the inherent multi‐scale, pyramidal hierarchy of colour representations. Between two adjacent levels, we propose a hierarchical decoder–encoder filter to pass the colour distributions from the lower level to higher level in order to take both semantic information and fine details into account during the colourization process. Within the network, a novel parallel residual dense block is proposed to effectively extract the local–global context of the colour representations by widening the network. Several experiments, as well as a user study, are conducted to evaluate the performance of our network against state‐of‐the‐art colourization methods. Experimental results show that our network is able to generate colourful, semantically correct and visually pleasant colour images. In addition, unlike fully automatic colourization that produces fixed colour images, the reference image of our network is flexible; both natural images and simple colour palettes can be used to guide the colourization.

中文翻译：

---

通过密集编码金字塔的基于示例的着色

我们提出了一种新的基于深度示例的图像着色方法，称为密集编码金字塔网络。在我们的研究中，我们将着色定义为多项式分类问题。给定灰度图像和参考图像，所提出的网络利用大规模数据，然后通过分析参考图像的颜色分布来预测颜色。我们将网络设计为金字塔结构，以利用颜色表示的固有多尺度金字塔层次结构。在两个相邻层之间，我们提出了一个分层解码器-编码器过滤器，将颜色分布从较低层传递到较高层，以便在着色过程中考虑语义信息和精细细节。在网络内，提出了一种新的并行残差密集块，通过拓宽网络有效地提取颜色表示的局部-全局上下文。进行了多项实验以及用户研究，以评估我们的网络针对最先进的着色方法的性能。实验结果表明，我们的网络能够生成色彩丰富、语义正确且视觉上令人愉悦的彩色图像。此外，与产生固定颜色图像的全自动着色不同，我们网络的参考图像是灵活的；自然图像和简单的调色板都可以用来指导着色。进行评估我们的网络对最先进的着色方法的性能。实验结果表明，我们的网络能够生成色彩丰富、语义正确且视觉上令人愉悦的彩色图像。此外，与产生固定颜色图像的全自动着色不同，我们网络的参考图像是灵活的；自然图像和简单的调色板都可以用来指导着色。进行评估我们的网络对最先进的着色方法的性能。实验结果表明，我们的网络能够生成色彩丰富、语义正确且视觉上令人愉悦的彩色图像。此外，与产生固定颜色图像的全自动着色不同，我们网络的参考图像是灵活的；自然图像和简单的调色板都可以用来指导着色。