A complete defect detection task aims to achieve the specific class and precise location of each defect in an image, which makes it still challenging for applying this task in practice. The defect detection is a composite task of classification and location, leading to related methods is often hard to take into account the accuracy of both. The implementation of defect detection depends on a special detection data set that contains expensive manual annotations. In this paper, we proposed a novel defect detection system based on deep learning and focused on a practical industrial application: steel plate defect inspection. In order to achieve strong classification ability, this system employs a baseline convolution neural network (CNN) to generate feature maps at each stage, and then the proposed multilevel feature fusion network (MFN) combines multiple hierarchical features into one feature, which can include more location details of defects. Based on these multilevel features, a region proposal network (RPN) is adopted to generate regions of interest (ROIs). For each ROI, a detector, consisting of a classifier and a bounding box regressor, produces the final detection results. Finally, we set up a defect detection data set NEU-DET for training and evaluating our method. On the NEU-DET, our method achieves 74.8/82.3 mAP with baseline networks ResNet34/50 by using 300 proposals. In addition, by using only 50 proposals, our method can detect at 20 ft/s on a single GPU and reach 92% of the above performance, hence the potential for real-time detection.

中文翻译：

---

通过融合多个层次特征的端到端钢表面缺陷检测方法

一个完整的缺陷检测任务旨在实现图像中每个缺陷的特定类别和精确位置，这使得在实践中应用该任务仍然具有挑战性。缺陷检测是分类和定位的复合任务，导致相关方法往往难以兼顾两者的准确性。缺陷检测的实现依赖于包含昂贵的手动注释的特殊检测数据集。在本文中，我们提出了一种基于深度学习的新型缺陷检测系统，并专注于实际的工业应用：钢板缺陷检测。为了实现强大的分类能力，该系统采用基线卷积神经网络（CNN）在每个阶段生成特征图，然后提出的多级特征融合网络（MFN）将多个层次特征合并为一个特征，可以包含更多的缺陷位置细节。基于这些多级特征，采用区域提议网络（RPN）来生成感兴趣区域（ROI）。对于每个 ROI，由分类器和边界框回归器组成的检测器产生最终检测结果。最后，我们建立了一个缺陷检测数据集 NEU-DET 来训练和评估我们的方法。在 NEU-DET 上，我们的方法通过使用 300 个提议，使用基线网络 ResNet34/50 实现了 74.8/82.3 mAP。此外，通过仅使用 50 个建议，我们的方法可以在单个 GPU 上以 20 英尺/秒的速度进行检测，并达到上述性能的 92%，因此具有实时检测的潜力。这可以包括更多的缺陷位置细节。基于这些多级特征，采用区域提议网络（RPN）来生成感兴趣区域（ROI）。对于每个 ROI，由分类器和边界框回归器组成的检测器产生最终检测结果。最后，我们建立了一个缺陷检测数据集 NEU-DET 来训练和评估我们的方法。在 NEU-DET 上，我们的方法通过使用 300 个提议，使用基线网络 ResNet34/50 实现了 74.8/82.3 mAP。此外，通过仅使用 50 个建议，我们的方法可以在单个 GPU 上以 20 英尺/秒的速度进行检测，并达到上述性能的 92%，因此具有实时检测的潜力。这可以包括更多的缺陷位置细节。基于这些多级特征，采用区域提议网络（RPN）来生成感兴趣区域（ROI）。对于每个 ROI，由分类器和边界框回归器组成的检测器产生最终检测结果。最后，我们建立了一个缺陷检测数据集 NEU-DET 来训练和评估我们的方法。在 NEU-DET 上，我们的方法通过使用 300 个提议，使用基线网络 ResNet34/50 实现了 74.8/82.3 mAP。此外，通过仅使用 50 个建议，我们的方法可以在单个 GPU 上以 20 ft/s 的速度进行检测，并达到上述性能的 92%，因此具有实时检测的潜力。由分类器和边界框回归器组成，产生最终检测结果。最后，我们建立了一个缺陷检测数据集 NEU-DET 来训练和评估我们的方法。在 NEU-DET 上，我们的方法通过使用 300 个提议，使用基线网络 ResNet34/50 实现了 74.8/82.3 mAP。此外，通过仅使用 50 个建议，我们的方法可以在单个 GPU 上以 20 英尺/秒的速度进行检测，并达到上述性能的 92%，因此具有实时检测的潜力。由分类器和边界框回归器组成，产生最终检测结果。最后，我们建立了一个缺陷检测数据集 NEU-DET 来训练和评估我们的方法。在 NEU-DET 上，我们的方法通过使用 300 个提议，使用基线网络 ResNet34/50 实现了 74.8/82.3 mAP。此外，通过仅使用 50 个建议，我们的方法可以在单个 GPU 上以 20 英尺/秒的速度进行检测，并达到上述性能的 92%，因此具有实时检测的潜力。