Remote robot manipulation with human control enables applications where safety and environmental constraints are adverse to humans (e.g. underwater, space robotics and disaster response) or the complexity of the task demands human-level cognition and dexterity (e.g. robotic surgery and manufacturing). These systems typically use direct teleoperation at the motion level, and are usually limited to low-DOF arms and 2D perception. Improving dexterity and situational awareness demands new interaction and planning workflows. We explore the use of human-robot teaming through teleautonomy with assisted planning for remote control of a dual-arm dexterous robot for multi-step manipulation tasks, and conduct a within-subjects experimental assessment (n=12 expert users) to compare it with other methods, resulting in the following four conditions: (A) Direct teleoperation with imitation controller + 2D perception, (B) Condition A + 3D perception, (C) Teleautonomy interface teleoperation + 2D & 3D perception, (D) Condition C + assisted planning. The results indicate that this approach (D) achieves task times comparable with direct teleoperation (A,B) while improving a number of other objective and subjective metrics, including re-grasps, collisions, and TLX workload metrics. When compared to a similar interface but removing the assisted planning (C), D reduces the task time and removes a significant interaction with the level of expertise of the operator, resulting in a performance equalizer across users.

中文翻译：

---

具有专家操作员的多步远程操纵的人机协作实验评估

具有人工控制的远程机器人操纵功能可用于安全和环境限制不利于人类的应用（例如水下，太空机器人和灾难响应），或者任务的复杂性需要人类水平的认知和灵巧（例如机器人手术和制造）。这些系统通常在运动级别使用直接遥操作，并且通常限于低自由度的手臂和2D感知。提高灵活性和态势感知需要新的交互和计划工作流程。我们探索通过远程自治将人类机器人团队与辅助计划一起用于多步操作任务的双臂灵巧机器人的远程控制，并进行受试者内部实验评估（n = 12专家用户），以与其他方法，导致以下四个情况：（A）具有模仿控制器+ 2D感知的直接遥操作，（B）条件A + 3D感知，（C）远程自治界面遥操作+ 2D和3D感知，（D）条件C +辅助计划。结果表明，此方法（D）可以实现与直接远程操作（A，B）相媲美的任务时间，同时可以改善许多其他客观和主观指标，包括重新捕获，冲突和TLX工作负载指标。当与类似的界面进行比较但删除了辅助计划（C）时，D减少了工作时间，并消除了与操作员专业知识水平的重大互动，从而在整个用户之间实现了性能均衡。（D）条件C +辅助计划。结果表明，此方法（D）可以实现与直接远程操作（A，B）相媲美的任务时间，同时可以改善许多其他客观和主观指标，包括重新捕获，冲突和TLX工作负载指标。当与类似的界面进行比较但删除了辅助计划（C）时，D减少了工作时间，并消除了与操作员专业知识水平的重大互动，从而在整个用户之间实现了性能均衡。（D）条件C +辅助计划。结果表明，此方法（D）可以实现与直接远程操作（A，B）相媲美的任务时间，同时可以改善许多其他客观和主观指标，包括重新捕获，冲突和TLX工作负载指标。当与类似的界面进行比较但删除了辅助计划（C）时，D减少了工作时间，并消除了与操作员专业知识水平的重大互动，从而在整个用户之间实现了性能均衡。