In this paper, we present a novel framework for finding the kinematic structure correspondences between two articulated objects in videos via hypergraph matching. In contrast to appearance and graph alignment based matching methods, which have been applied among two similar static images, the proposed method finds correspondences between two dynamic kinematic structures of heterogeneous objects in videos. Thus our method allows matching the structure of objects which have similar topologies or motions, or a combination of the two. Our main contributions can be summarised as follows: (i) casting the kinematic structure correspondence problem into a hypergraph matching problem by incorporating multi-order similarities with normalising weights, (ii) introducing a structural topology similarity measure by aggregating topology constrained subgraph isomorphisms, (iii) measuring kinematic correlations between pairwise nodes, and (iv) proposing a combinatorial local motion similarity measure using geodesic distance on the Riemannian manifold. We demonstrate the robustness and accuracy of our method through a number of experiments on synthetic and real data, outperforming various other state of the art methods. Our method is not limited to a specific application nor sensor, and can be used as building block in applications such as action recognition, human motion retargeting to robots, and articulated object manipulation amongst others.

中文翻译：

---

使用多阶相似性学习运动学结构对应

在本文中，我们提出了一个新颖的框架，用于通过超图匹配找到视频中两个关节对象之间的运动学结构对应关系。与已经在两个相似的静态图像之间应用的基于外观和图形对齐的匹配方法相比，该方法发现了视频中异类对象的两个动态运动学结构之间的对应关系。因此，我们的方法允许匹配具有相似拓扑或运动或两者结合的对象的结构。我们的主要贡献可归纳如下：（i）通过将多阶相似度与归一化权重相结合，将运动结构对应问题转化为超图匹配问题，（ii）通过聚集拓扑约束子图同构来引入结构拓扑相似性度量，（iii）测量成对节点之间的运动学相关性，以及（iv）使用黎曼流形上的测地距离提出组合局部运动相似性度量。我们通过对合成数据和真实数据进行的大量实验证明了我们方法的鲁棒性和准确性，其性能优于其他各种现有技术水平。我们的方法不仅限于特定的应用程序或传感器，还可以用作诸如动作识别，将人体运动重新定向到机器人以及进行关节运动的对象之类的应用程序中的构建块。（iv）使用黎曼流形上的测地距离提出组合局部运动相似性度量。我们通过对合成数据和真实数据进行的大量实验证明了我们方法的鲁棒性和准确性，其性能优于其他各种现有技术水平。我们的方法不仅限于特定的应用程序或传感器，还可以用作诸如动作识别，将人体运动重新定向到机器人以及进行关节运动的对象之类的应用程序中的构建块。（iv）使用黎曼流形上的测地距离提出组合局部运动相似性度量。我们通过对合成和真实数据进行的大量实验证明了我们方法的鲁棒性和准确性，其性能优于其他各种现有方法。我们的方法不仅限于特定的应用程序或传感器，还可以用作诸如动作识别，将人体运动重新定向到机器人以及进行关节运动的对象之类的应用程序中的构建块。