Seam carving is a representative content-aware image retargeting approach to adjust the size of an image while preserving its visually prominent content. To maintain visually important content, seam-carving algorithms first calculate the connected path of pixels, referred to as the seam, according to a defined cost function and then adjust the size of an image by removing and duplicating repeatedly calculated seams. Seam carving is actively exploited to overcome diversity in the resolution of images between applications and devices; hence, detecting the distortion caused by seam carving has become important in image forensics. In this paper, we propose a convolutional neural network (CNN)-based approach to classifying seam-carving-based image retargeting for reduction and expansion. To attain the ability to learn low-level features, we designed a CNN architecture comprising five types of network blocks specialized for capturing subtle signals. An ensemble module is further adopted to both enhance performance and comprehensively analyze the features in the local areas of the given image. To validate the effectiveness of our work, extensive experiments based on various CNN-based baselines were conducted. Compared to the baselines, our work exhibits state-of-the-art performance in terms of three-class classification (original, seam inserted, and seam removed). In addition, our model with the ensemble module is robust for various unseen cases. The experimental results also demonstrate that our method can be applied to localize both seam-removed and seam-inserted areas.

中文翻译：

---

用于识别缝刻伪造的深度卷积神经网络

接缝雕刻是一种代表性的内容感知图像重定向方法，用于调整图像的大小，同时保留其视觉上突出的内容。为了保持视觉上重要的内容，接缝雕刻算法首先根据定义的成本函数计算像素的连接路径，称为接缝，然后通过删除和复制重复计算的接缝来调整图像的大小。积极利用接缝雕刻来克服应用程序和设备之间图像分辨率的差异；因此，检测由接缝雕刻引起的失真在图像取证中变得很重要。在本文中，我们提出了一种基于卷积神经网络 (CNN) 的方法来对基于接缝雕刻的图像重定向进行分类以进行缩减和扩展。为了获得学习低级特征的能力，我们设计了一个 CNN 架构，包含五种类型的网络块，专门用于捕获细微信号。进一步采用集成模块来提高性能并全面分析给定图像局部区域的特征。为了验证我们工作的有效性，进行了基于各种基于 CNN 的基线的大量实验。与基线相比，我们的工作在三类分类（原始、接缝插入和接缝移除）方面表现出最先进的性能。此外，我们的带有 ensemble 模块的模型对于各种不可见的情况都是稳健的。实验结果还表明，我们的方法可用于定位接缝去除和接缝插入区域。进一步采用集成模块来提高性能并全面分析给定图像局部区域的特征。为了验证我们工作的有效性，进行了基于各种基于 CNN 的基线的大量实验。与基线相比，我们的工作在三类分类（原始、接缝插入和接缝移除）方面表现出最先进的性能。此外，我们的带有 ensemble 模块的模型对于各种不可见的情况都是稳健的。实验结果还表明，我们的方法可用于定位接缝去除和接缝插入区域。进一步采用集成模块来提高性能并全面分析给定图像局部区域的特征。为了验证我们工作的有效性，进行了基于各种基于 CNN 的基线的大量实验。与基线相比，我们的工作在三类分类（原始、接缝插入和接缝移除）方面表现出最先进的性能。此外，我们的带有 ensemble 模块的模型对于各种不可见的情况都是稳健的。实验结果还表明，我们的方法可用于定位接缝去除和接缝插入区域。进行了基于各种基于 CNN 的基线的广泛实验。与基线相比，我们的工作在三类分类（原始、接缝插入和接缝移除）方面表现出最先进的性能。此外，我们的带有 ensemble 模块的模型对于各种不可见的情况都是稳健的。实验结果还表明，我们的方法可用于定位接缝去除和接缝插入区域。进行了基于各种基于 CNN 的基线的广泛实验。与基线相比，我们的工作在三类分类（原始、接缝插入和接缝移除）方面表现出最先进的性能。此外，我们的带有 ensemble 模块的模型对于各种不可见的情况都是稳健的。实验结果还表明，我们的方法可用于定位接缝去除和接缝插入区域。