In this paper, we present a novel method incorporating convolutional neural networks (CNN) into Markov random field (MRF) to automatically segment side scan sonar (SSS) images into object-highlight, object-shadow and sea-bottom reverberation areas. As a widely used ocean survey sensor, SSS provides high-resolution maps of the seafloor. Automatically segmenting SSS in real time can assist the navigation and path-planning of autonomous underwater vehicles. However, for the speckle noise and intensity inhomogeneity in the SSS images, it is difficult to find a robust SSS segmentation method. These facts motivate us to explore efficient CNN architectures to solve these problems. For pixel-level SSS segmentation, to use the context information and the details around a central pixel simultaneously, the CNN with multi-scale inputs (MSCNN) is employed. Besides, to mitigate the impact of the class imbalance problem, two MSCNN training strategies are introduced, which are based on data augmentation and ensemble learning. Furthermore, to take into account the local dependencies of class labels, the results of MSCNN are used to initialize MRF to get the final segmentation maps. Experimental results on real SSS images reveal that the proposed segmentation method outperforms MRF, CNN and semantic segmentation methods such as fully convolutional network and Segnet in segmentation accuracy and generalization performance. Moreover, the efficiency of the proposed method is proved on retinal image dataset.

中文翻译：

---

使用卷积神经网络和马尔可夫随机场分割声纳图像

在本文中，我们提出了一种将卷积神经网络 (CNN) 结合到马尔可夫随机场 (MRF) 中的新方法，以自动将侧扫声纳 (SSS) 图像分割为物体高光、物体阴影和海底混响区域。作为一种广泛使用的海洋调查传感器，SSS 提供了海底的高分辨率地图。实时自动分割SSS可以辅助自主水下航行器的导航和路径规划。然而，对于 SSS 图像中的散斑噪声和强度不均匀性，很难找到一种鲁棒的 SSS 分割方法。这些事实激励我们探索有效的 CNN 架构来解决这些问题。对于像素级 SSS 分割，为了同时使用上下文信息和中心像素周围的细节，采用了具有多尺度输入的 CNN (MSCNN)。此外，为了减轻类不平衡问题的影响，引入了两种基于数据增强和集成学习的 MSCNN 训练策略。此外，为了考虑到类标签的局部依赖性，使用 MSCNN 的结果初始化 MRF 以获得最终的分割图。在真实 SSS 图像上的实验结果表明，所提出的分割方法在分割精度和泛化性能方面优于 MRF、CNN 和语义分割方法，如全卷积网络和 Segnet。此外，在视网膜图像数据集上证明了所提出方法的有效性。考虑到类标签的局部依赖性，使用 MSCNN 的结果初始化 MRF 以获得最终的分割图。在真实 SSS 图像上的实验结果表明，所提出的分割方法在分割精度和泛化性能方面优于 MRF、CNN 和语义分割方法，如全卷积网络和 Segnet。此外，在视网膜图像数据集上证明了所提出方法的有效性。考虑到类标签的局部依赖性，使用 MSCNN 的结果初始化 MRF 以获得最终的分割图。在真实 SSS 图像上的实验结果表明，所提出的分割方法在分割精度和泛化性能方面优于 MRF、CNN 和语义分割方法，如全卷积网络和 Segnet。此外，在视网膜图像数据集上证明了所提出方法的有效性。