This paper presents a comprehensive survey on vision-based robotic grasping. We conclude three key tasks during vision-based robotic grasping, which are object localization, object pose estimation and grasp estimation. In detail, the object localization task contains object localization without classification, object detection and object instance segmentation. This task provides the regions of the target object in the input data. The object pose estimation task mainly refers to estimating the 6D object pose and includes correspondence-based methods, template-based methods and voting-based methods, which affords the generation of grasp poses for known objects. The grasp estimation task includes 2D planar grasp methods and 6DoF grasp methods, where the former is constrained to grasp from one direction. These three tasks could accomplish the robotic grasping with different combinations. Lots of object pose estimation methods need not object localization, and they conduct object localization and object pose estimation jointly. Lots of grasp estimation methods need not object localization and object pose estimation, and they conduct grasp estimation in an end-to-end manner. Both traditional methods and latest deep learning-based methods based on the RGB-D image inputs are reviewed elaborately in this survey. Related datasets and comparisons between state-of-the-art methods are summarized as well. In addition, challenges about vision-based robotic grasping and future directions in addressing these challenges are also pointed out.

中文翻译：

---

基于视觉的机器人抓取从物体定位、物体姿态估计到平行抓手的抓取估计：综述

本文对基于视觉的机器人抓取进行了全面调查。我们总结了基于视觉的机器人抓取过程中的三个关键任务，即物体定位、物体姿态估计和抓取估计。详细地说，对象定位任务包含没有分类的对象定位、对象检测和对象实例分割。此任务提供输入数据中目标对象的区域。对象姿态估计任务主要是指估计 6D 对象姿态，包括基于对应的方法、基于模板的方法和基于投票的方法，为已知对象生成抓取姿态。抓取估计任务包括 2D 平面抓取方法和 6DoF 抓取方法，其中前者被限制为从一个方向抓取。这三个任务可以通过不同的组合完成机器人抓取。许多物体姿态估计方法不需要物体定位，它们联合进行物体定位和物体姿态估计。许多抓取估计方法不需要物体定位和物体姿态估计，它们以端到端的方式进行抓取估计。本次调查详细回顾了传统方法和最新的基于 RGB-D 图像输入的基于深度学习的方法。还总结了相关数据集和最先进方法之间的比较。此外，还指出了基于视觉的机器人抓取的挑战以及解决这些挑战的未来方向。他们联合进行物体定位和物体姿态估计。许多抓取估计方法不需要物体定位和物体姿态估计，它们以端到端的方式进行抓取估计。本次调查详细回顾了传统方法和最新的基于 RGB-D 图像输入的基于深度学习的方法。还总结了相关数据集和最先进方法之间的比较。此外，还指出了基于视觉的机器人抓取的挑战以及解决这些挑战的未来方向。他们联合进行物体定位和物体姿态估计。许多抓取估计方法不需要物体定位和物体姿态估计，它们以端到端的方式进行抓取估计。本次调查详细回顾了传统方法和最新的基于 RGB-D 图像输入的基于深度学习的方法。还总结了相关数据集和最先进方法之间的比较。此外，还指出了基于视觉的机器人抓取的挑战以及解决这些挑战的未来方向。本次调查详细回顾了传统方法和最新的基于 RGB-D 图像输入的基于深度学习的方法。还总结了相关数据集和最先进方法之间的比较。此外，还指出了基于视觉的机器人抓取的挑战以及解决这些挑战的未来方向。本次调查详细回顾了传统方法和最新的基于 RGB-D 图像输入的基于深度学习的方法。还总结了相关数据集和最先进方法之间的比较。此外，还指出了基于视觉的机器人抓取的挑战以及解决这些挑战的未来方向。