Many autonomous systems forecast aspects of the future in order to aid decision-making. For example, self-driving vehicles and robotic manipulation systems often forecast future object poses by first detecting and tracking objects. However, this detect-then-forecast pipeline is expensive to scale, as pose forecasting algorithms typically require labeled sequences of object poses, which are costly to obtain in 3D space. Can we scale performance without requiring additional labels? We hypothesize yes, and propose inverting the detect-then-forecast pipeline. Instead of detecting, tracking and then forecasting the objects, we propose to first forecast 3D sensor data (e.g., point clouds with $100$k points) and then detect/track objects on the predicted point cloud sequences to obtain future poses, i.e., a forecast-then-detect pipeline. This inversion makes it less expensive to scale pose forecasting, as the sensor data forecasting task requires no labels. Part of this work's focus is on the challenging first step -- Sequential Pointcloud Forecasting (SPF), for which we also propose an effective approach, SPFNet. To compare our forecast-then-detect pipeline relative to the detect-then-forecast pipeline, we propose an evaluation procedure and two metrics. Through experiments on a robotic manipulation dataset and two driving datasets, we show that SPFNet is effective for the SPF task, our forecast-then-detect pipeline outperforms the detect-then-forecast approaches to which we compared, and that pose forecasting performance improves with the addition of unlabeled data.

中文翻译：

---

使用 SPF2 反转姿态预测管道：用于顺序姿态预测的顺序点云预测

许多自主系统预测未来的各个方面以帮助决策。例如，自动驾驶汽车和机器人操纵系统通常通过首先检测和跟踪物体来预测未来的物体姿态。然而，这种先检测再预测的管道扩展起来很昂贵，因为姿势预测算法通常需要标记的对象姿势序列，而在 3D 空间中获得这些序列的成本很高。我们可以在不需要额外标签的情况下扩展性能吗？我们假设是的，并建议反转检测然后预测的管道。我们建议先预测 3D 传感器数据（例如，具有 $100$k 点的点云），然后在预测的点云序列上检测/跟踪对象以获得未来的姿态，而不是检测、跟踪然后预测对象，即预测然后检测管道。由于传感器数据预测任务不需要标签，因此这种反演使得缩放姿态预测的成本更低。这项工作的部分重点是具有挑战性的第一步——顺序点云预测 (SPF)，为此我们还提出了一种有效的方法 SPFNet。为了将我们的预测-然后检测管道与检测-然后预测管道进行比较，我们提出了一个评估程序和两个指标。通过对机器人操作数据集和两个驱动数据集的实验，我们表明 SPFNet 对于 SPF 任务是有效的，我们的预测然后检测管道优于我们比较的检测然后预测方法，并且姿势预测性能随着添加未标记的数据。这项工作的部分重点是具有挑战性的第一步——顺序点云预测 (SPF)，为此我们还提出了一种有效的方法 SPFNet。为了将我们的预测-然后检测管道与检测-然后预测管道进行比较，我们提出了一个评估程序和两个指标。通过对机器人操作数据集和两个驱动数据集的实验，我们表明 SPFNet 对于 SPF 任务是有效的，我们的预测然后检测管道优于我们比较的检测然后预测方法，并且姿势预测性能随着添加未标记的数据。这项工作的部分重点是具有挑战性的第一步——顺序点云预测 (SPF)，为此我们还提出了一种有效的方法 SPFNet。为了将我们的预测-然后检测管道与检测-然后预测管道进行比较，我们提出了一个评估程序和两个指标。通过对机器人操作数据集和两个驱动数据集的实验，我们表明 SPFNet 对于 SPF 任务是有效的，我们的预测然后检测管道优于我们比较的检测然后预测方法，并且姿势预测性能随着添加未标记的数据。为了将我们的预测-然后检测管道与检测-然后预测管道进行比较，我们提出了一个评估程序和两个指标。通过对机器人操作数据集和两个驱动数据集的实验，我们表明 SPFNet 对于 SPF 任务是有效的，我们的预测然后检测管道优于我们比较的检测然后预测方法，并且姿势预测性能随着添加未标记的数据。为了将我们的预测-然后检测管道与检测-然后预测管道进行比较，我们提出了一个评估程序和两个指标。通过对机器人操作数据集和两个驱动数据集的实验，我们表明 SPFNet 对于 SPF 任务是有效的，我们的预测然后检测管道优于我们比较的检测然后预测方法，并且姿势预测性能随着添加未标记的数据。