Apples in modern orchards with vertical-fruiting-wall trees are comparatively easier to harvest and specifically suitable for robotic picking, where accurate apple detection and obstacle-free access are fundamentally important. However, field images have complex backgrounds because of the presence of nontarget trees and fruit in adjacent rows. An outdoor machine vision system was developed with a low-cost Kinect V2 sensor to improve the accuracy of apple detection by filtering the background objects using depth features. A total of 800 set images were acquired in a commercial fruiting-wall Scifresh apple orchard with dense-foliage canopy. Images were collected in both daytime and nighttime with artificial light. The sensor was kept at 0.5 m to the tree canopies. A depth threshold of 1.2 m was used to remove background. Two Faster R–CNN based architectures ZFNet and VGG16 were employed to detect the Original-RGB and the Foreground-RGB images. Results showed that the highest average precision (AP) of 0.893 was achieved for the Foreground-RGB images with VGG16, which cost 0.181 s on average to process a 1920 × 1080 image. AP values for the Foreground-RGB images with ZFNet and VGG16 were both higher than those of the Original-RGB images. The results indicated that the use of a depth filter to remove background trees improved fruit detection accuracy by 2.5% and that only a minimal difference was found in processing speed between two image datasets. The proposed technique and results are expected to be applicable for robotic harvesting on fruiting-wall apple orchards.

中文翻译：

---

使用 RGB 和深度特征在密叶果壁树中进行更快的基于 R-CNN 的苹果检测，用于机器人收获

现代果园中的苹果果园垂直果树相对更容易收获，特别适合机器人采摘，在这种情况下，准确的苹果检测和无障碍获取至关重要。然而，由于相邻行中存在非目标树木和水果，现场图像具有复杂的背景。使用低成本 Kinect V2 传感器开发了室外机器视觉系统，通过使用深度特征过滤背景物体来提高苹果检测的准确性。在具有茂密枝叶冠层的商业果壁 Scifresh 苹果园中总共采集了 800 组图像。图像是在白天和夜间用人造光收集的。传感器保持在距离树冠 0.5 m 处。1.2 m 的深度阈值用于去除背景。采用两种基于 Faster R-CNN 的架构 ZFNet 和 VGG16 来检测原始 RGB 和前景 RGB 图像。结果表明，使用 VGG16 的前景-RGB 图像的最高平均精度 (AP) 达到了 0.893，处理 1920 × 1080 图像的平均成本为 0.181 秒。使用 ZFNet 和 VGG16 的前景-RGB 图像的 AP 值均高于原始-RGB 图像的 AP 值。结果表明，使用深度过滤器去除背景树将水果检测精度提高了 2.5%，并且两个图像数据集之间的处理速度差异很小。所提出的技术和结果有望适用于果壁苹果园的机器人收获。结果表明，使用 VGG16 的前景-RGB 图像的最高平均精度 (AP) 达到了 0.893，处理 1920 × 1080 图像的平均成本为 0.181 秒。具有 ZFNet 和 VGG16 的前景-RGB 图像的 AP 值均高于原始-RGB 图像的 AP 值。结果表明，使用深度过滤器去除背景树将水果检测精度提高了 2.5%，并且两个图像数据集之间的处理速度差异很小。所提出的技术和结果有望适用于果壁苹果园的机器人收获。结果表明，使用 VGG16 的前景-RGB 图像的最高平均精度 (AP) 达到了 0.893，处理 1920 × 1080 图像的平均成本为 0.181 秒。使用 ZFNet 和 VGG16 的前景-RGB 图像的 AP 值均高于原始-RGB 图像的 AP 值。结果表明，使用深度过滤器去除背景树将水果检测精度提高了 2.5%，并且两个图像数据集之间的处理速度差异很小。所提出的技术和结果有望适用于果壁苹果园的机器人收获。使用 ZFNet 和 VGG16 的前景-RGB 图像的 AP 值均高于原始-RGB 图像的 AP 值。结果表明，使用深度过滤器去除背景树将水果检测精度提高了 2.5%，并且两个图像数据集之间的处理速度差异很小。所提出的技术和结果有望适用于果壁苹果园的机器人收获。使用 ZFNet 和 VGG16 的前景-RGB 图像的 AP 值均高于原始-RGB 图像的 AP 值。结果表明，使用深度过滤器去除背景树将水果检测精度提高了 2.5%，并且两个图像数据集之间的处理速度差异很小。所提出的技术和结果有望适用于果壁苹果园的机器人收获。