We consider the problem of estimating realistic contact forces during manipulation, backed with ground-truth measurements, using vision alone. Interaction forces are usually measured by mounting force transducers onto the manipulated objects or the hands. Those are costly, cumbersome, and alter the objects’ physical properties and their perception by the human sense of touch. Our work establishes that interaction forces can be estimated in a cost-effective, reliable, non-intrusive way using vision. This is a complex and challenging problem. Indeed, in multi-contact, a given motion can generally be caused by an infinity of possible force distributions. To alleviate the limitations of traditional models based on inverse optimization, we collect and release the first large-scale dataset on manipulation kinodynamics as 3.2 hours of synchronized force and motion measurements under 193 object-grasp configurations. We learn a mapping between high-level kinematic features based on the equations of motion and the underlying manipulation forces using recurrent neural networks (RNN). The RNN predictions are consistently refined using physics-based optimization through second-order cone programming (SOCP). We show that our method can successfully capture interaction forces compatible with both the observations and the way humans intuitively manipulate objects, using a single RGB-D camera.

中文翻译：

---

无标记视觉跟踪的手-物体接触力估计

我们考虑仅凭视觉就估算操作过程中实际接触力的问题，并辅以地面真实性测量。相互作用力通常是通过将力传感器安装在被操纵的物体或手上来测量的。这些昂贵，麻烦并且通过人类的触觉改变了物体的物理特性和它们的感知。我们的工作表明，可以使用视觉以经济有效，可靠，非侵入性的方式估算相互作用力。这是一个复杂而具有挑战性的问题。实际上，在多触点中，给定的运动通常可能是由无限可能的力分布引起的。为了减轻基于逆向优化的传统模型的局限性，我们收集并发布了第三个关于操纵运动动力学的大型数据集。在193个对象抓取配置下，2个小时的同步力和运动测量。我们学习基于运动方程的高级运动学特征与使用递归神经网络（RNN）的潜在操纵力之间的映射。通过基于物理的优化，通过二阶锥规划（SOCP），对RNN预测进行了不断完善。我们展示了我们的方法可以使用单个RGB-D相机成功捕获与观察结果以及人类直观地操纵对象的方式兼容的相互作用力。通过基于物理的优化，通过二阶锥规划（SOCP），对RNN预测进行了不断完善。我们展示了我们的方法可以使用单个RGB-D相机成功捕获与观察结果以及人类直观地操纵对象的方式兼容的相互作用力。通过基于物理的优化，通过二阶锥规划（SOCP），对RNN预测进行了不断完善。我们展示了我们的方法可以使用单个RGB-D相机成功捕获与观察结果以及人类直观地操纵对象的方式兼容的相互作用力。