Multiple interlinked factors like demographics, migration patterns, and economics are presently leading to the critical shortage of labour available for low-skilled, physically demanding tasks like soft fruit harvesting. This paper presents a biomimetic robotic solution covering the full ‘Perception-Action’ loop targeting harvesting of strawberries in a state-of-the-art vertical growing environment. The novelty emerges from both dealing with crop/environment variance as well as configuring the robot action system to deal with a range of runtime task constraints. Unlike the commonly used deep neural networks, the proposed perception system uses conditional Generative Adversarial Networks to identify the ripe fruit using synthetic data. The network can effectively train the synthetic data using the image-to-image translation concept, thereby avoiding the tedious work of collecting and labelling the real dataset. Once the harvest-ready fruit is localised using point cloud data generated by a stereo camera, our platform’s action system can coordinate the arm to reach/cut the stem using the Passive Motion Paradigm framework inspired by studies on neural control of movement in the brain. Results from field trials for strawberry detection, reaching/cutting the stem of the fruit, and extension to analysing complex canopy structures/bimanual coordination (searching/picking) are presented. While this article focuses on strawberry harvesting, ongoing research towards adaptation of the architecture to other crops such as tomatoes and sweet peppers is briefly described.

目前，人口统计、迁移模式和经济等多个相互关联的因素导致可用于低技能、体力要求高的任务（如软果采摘）的劳动力严重短缺。本文介绍了一种仿生机器人解决方案，涵盖完整的“感知-行动”循环，目标是在最先进的垂直生长环境中收获草莓。新颖性来自处理作物/环境变化以及配置机器人动作系统以处理一系列运行时任务约束。与常用的深度神经网络不同，所提出的感知系统使用条件生成对抗网络来使用合成数据识别成熟水果。该网络可以使用图像到图像的转换概念有效地训练合成数据，从而避免了收集和标记真实数据集的繁琐工作。一旦使用立体相机生成的点云数据定位了可收获的水果，我们平台的动作系统就可以使用受大脑运动神经控制研究启发的被动运动范式框架来协调手臂到达/切割茎干。介绍了草莓检测、到达/切割水果茎以及扩展到分析复杂树冠结构/双手协调（搜索/采摘）的田间试验结果。虽然本文侧重于草莓收获，但简要介绍了正在进行的使该架构适应其他作物（如西红柿和甜椒）的研究。一旦使用立体相机生成的点云数据定位了可收获的水果，我们平台的动作系统就可以使用受大脑运动神经控制研究启发的被动运动范式框架来协调手臂到达/切割茎干。介绍了草莓检测、到达/切割水果茎以及扩展到分析复杂树冠结构/双手协调（搜索/采摘）的田间试验结果。虽然本文侧重于草莓收获，但简要介绍了正在进行的使该架构适应其他作物（如西红柿和甜椒）的研究。一旦使用立体相机生成的点云数据定位了可收获的水果，我们平台的动作系统就可以使用受大脑运动神经控制研究启发的被动运动范式框架来协调手臂到达/切割茎干。介绍了草莓检测、到达/切割水果茎以及扩展到分析复杂树冠结构/双手协调（搜索/采摘）的田间试验结果。虽然本文侧重于草莓收获，但简要介绍了正在进行的使该架构适应其他作物（如西红柿和甜椒）的研究。我们平台的动作系统可以使用受大脑运动神经控制研究启发的被动运动范式框架来协调手臂到达/切割茎干。介绍了草莓检测、到达/切割水果茎以及扩展到分析复杂树冠结构/双手协调（搜索/采摘）的田间试验结果。虽然本文侧重于草莓收获，但简要介绍了正在进行的使该架构适应其他作物（如西红柿和甜椒）的研究。我们平台的动作系统可以使用受大脑运动神经控制研究启发的被动运动范式框架来协调手臂到达/切割茎干。介绍了草莓检测、到达/切割水果茎以及扩展到分析复杂树冠结构/双手协调（搜索/采摘）的田间试验结果。虽然本文侧重于草莓收获，但简要介绍了正在进行的使该架构适应其他作物（如西红柿和甜椒）的研究。