Citrus fruits do not ripen at the same time in natural environments and exhibit different maturity stages on trees, hence it is necessary to realize selective harvesting of citrus picking robots. The visual attention mechanism reveals a physiological phenomenon that human eyes usually focus on a region that is salient from its surround. The degree to which a region contrasts with its surround is called visual saliency. This study proposes a novel citrus fruit maturity method combining visual saliency and convolutional neural networks to identify three maturity levels of citrus fruits. The proposed method is divided into two stages: the detection of citrus fruits on trees and the detection of fruit maturity. In stage one, the object detection network YOLOv5 was used to identify the citrus fruits in the image. In stage two, a visual saliency detection algorithm was improved and generated saliency maps of the fruits; The information of RGB images and the saliency maps were combined to determine the fruit maturity class using 4-channel ResNet34 network. The comparison experiments were conducted around the proposed method and the common RGB-based machine learning and deep learning methods. The experimental results show that the proposed method yields an accuracy of 95.07%, which is higher than the best RGB-based CNN model, VGG16, and the best machine learning model, KNN, about 3.14% and 18.24%, respectively. The results prove the validity of the proposed fruit maturity detection method and that this work can provide technical support for intelligent visual detection of selective harvesting robots.

柑橘类水果在自然环境中不是同时成熟的，在树上呈现不同的成熟阶段，因此有必要实现柑橘采摘机器人的选择性收获。视觉注意机制揭示了一种生理现象，即人眼通常聚焦于与其周围显着的区域。一个区域与其周围的对比程度称为视觉显着性。本研究提出了一种新的柑橘类水果成熟度方法，结合视觉显着性和卷积神经网络来识别柑橘类水果的三个成熟度级别。所提出的方法分为两个阶段：柑橘类水果在树上的检测和果实成熟度的检测。在第一阶段，目标检测网络 YOLOv5 用于识别图像中的柑橘类水果。在第二阶段，改进了视觉显着性检测算法并生成了水果的显着性图；使用 4 通道 ResNet34 网络结合 RGB 图像信息和显着性图确定果实成熟度等级。围绕所提出的方法和常见的基于 RGB 的机器学习和深度学习方法进行了比较实验。实验结果表明，该方法的准确率为 95.07%，分别高于最佳的基于 RGB 的 CNN 模型 VGG16 和最佳机器学习模型 KNN，分别约为 3.14% 和 18.24%。结果证明了所提出的果实成熟度检测方法的有效性，该工作可以为选择性收获机器人的智能视觉检测提供技术支持。使用 4 通道 ResNet34 网络结合 RGB 图像信息和显着性图确定果实成熟度等级。围绕所提出的方法和常见的基于 RGB 的机器学习和深度学习方法进行了比较实验。实验结果表明，该方法的准确率为 95.07%，分别高于最佳的基于 RGB 的 CNN 模型 VGG16 和最佳机器学习模型 KNN，分别约为 3.14% 和 18.24%。结果证明了所提出的果实成熟度检测方法的有效性，该工作可以为选择性收获机器人的智能视觉检测提供技术支持。使用 4 通道 ResNet34 网络结合 RGB 图像信息和显着性图确定果实成熟度等级。围绕所提出的方法和常见的基于 RGB 的机器学习和深度学习方法进行了比较实验。实验结果表明，该方法的准确率为 95.07%，分别高于最佳的基于 RGB 的 CNN 模型 VGG16 和最佳机器学习模型 KNN，分别约为 3.14% 和 18.24%。结果证明了所提出的果实成熟度检测方法的有效性，该工作可以为选择性收获机器人的智能视觉检测提供技术支持。围绕所提出的方法和常见的基于 RGB 的机器学习和深度学习方法进行了比较实验。实验结果表明，该方法的准确率为 95.07%，分别高于最佳的基于 RGB 的 CNN 模型 VGG16 和最佳机器学习模型 KNN，分别约为 3.14% 和 18.24%。结果证明了所提出的果实成熟度检测方法的有效性，该工作可以为选择性收获机器人的智能视觉检测提供技术支持。围绕所提出的方法和常见的基于 RGB 的机器学习和深度学习方法进行了比较实验。实验结果表明，该方法的准确率为 95.07%，分别高于最佳的基于 RGB 的 CNN 模型 VGG16 和最佳机器学习模型 KNN，分别约为 3.14% 和 18.24%。结果证明了所提出的果实成熟度检测方法的有效性，该工作可以为选择性收获机器人的智能视觉检测提供技术支持。分别为 24%。结果证明了所提出的果实成熟度检测方法的有效性，该工作可以为选择性收获机器人的智能视觉检测提供技术支持。分别为 24%。结果证明了所提出的果实成熟度检测方法的有效性，该工作可以为选择性收获机器人的智能视觉检测提供技术支持。