This study proposes a data-driven control method of extra robotic fingers to assist a user in bimanual object manipulation that requires two hands. The robotic system comprises two main parts, i.e., robotic thumb (RT) and robotic fingers (RF). The RT is attached next to the user’s thumb, while the RF is located next to the user’s little finger. The grasp postures of the RT and RF are driven by bending angle inputs of flex sensors, attached to the thumb and other fingers of the user. A modified glove sensor is developed by attaching three flex sensors to the thumb, index, and middle fingers of a wearer. Various hand gestures are then mapped using a neural network. The input data of the robotic system are the bending angles of thumb and index, read by flex sensors, and the outputs are commanded servo angles for the RF and RT. The third flex sensor is attached to the middle finger to hold the extra robotic finger’s posture. Two force-sensitive resistors (FSRs) are attached to the RF and RT for the haptic feedback when the robot is worn to take and grasp a fragile object, such as an egg. The trained neural network is embedded into the wearable extra robotic fingers to control the robotic motion and assist the human fingers in bimanual object manipulation tasks. The developed extra fingers are tested for their capacity to assist the human fingers and perform 10 different bimanual tasks, such as holding a large object, lifting and operate an eight-inch tablet, and lifting a bottle, and opening a bottle cap at the same time.

中文翻译：

---

基于神经网络的柔性传感器可穿戴式机器人手指的姿势控制

这项研究提出了一种额外的机器人手指的数据驱动控制方法，以帮助用户进行需要两只手的双手物体操作。机器人系统包括两个主要部分，即，机器人拇指（RT）和机器人手指（RF）。RT位于用户的拇指旁，而RF位于用户的小指旁。RT和RF的抓握姿势由连接到用户的拇指和其他手指的弯曲传感器的弯曲角度输入驱动。通过将三个挠曲传感器连接到佩戴者的拇指，食指和中指，可以开发出一种改进的手套传感器。然后使用神经网络映射各种手势。机器人系统的输入数据是屈曲传感器读取的拇指和食指的弯曲角度，输出是针对RF和RT的指令伺服角度。第三个挠曲传感器连接到中指，以保持多余的机械手的姿势。当穿戴机器人来抓握易碎物体（例如鸡蛋）时，两个力敏电阻（FSR）连接到RF和RT，以提供触觉反馈。受过训练的神经网络被嵌入到可穿戴的额外机械手手指中，以控制机械手运动并协助人手指进行双手目标操作。测试开发的多余手指的能力，以辅助人的手指并执行10种不同的双向任务，例如握住大物体，提起和操作八英寸的平板电脑，提起瓶子并同时打开瓶盖。时间。当穿戴机器人来抓握易碎物体（例如鸡蛋）时，两个力敏电阻（FSR）连接到RF和RT，以提供触觉反馈。受过训练的神经网络被嵌入到可穿戴的额外机械手手指中，以控制机械手运动并协助人的手指进行双手目标操作。测试开发的多余手指的能力，以辅助人的手指并执行10种不同的双向任务，例如握住大物体，提起和操作8英寸的平板电脑，提起瓶子并同时打开瓶盖。时间。当穿戴机器人来抓握易碎物体（例如鸡蛋）时，两个力敏电阻（FSR）连接到RF和RT，以提供触觉反馈。受过训练的神经网络被嵌入到可穿戴的额外机械手手指中，以控制机械手运动并协助人手指进行双手目标操作。测试开发的多余手指的能力，以辅助人的手指并执行10种不同的双向任务，例如握住大物体，提起和操作8英寸的平板电脑，提起瓶子并同时打开瓶盖。时间。受过训练的神经网络被嵌入到可穿戴的额外机械手手指中，以控制机械手运动并协助人手指进行双手目标操作。测试开发的多余手指的能力，以辅助人的手指并执行10种不同的双向任务，例如握住大物体，提起和操作8英寸的平板电脑，提起瓶子并同时打开瓶盖。时间。受过训练的神经网络被嵌入到可穿戴的额外机械手手指中，以控制机械手运动并协助人的手指进行双手目标操作。测试开发的多余手指的能力，以辅助人的手指并执行10种不同的双向任务，例如握住大物体，提起和操作八英寸的平板电脑，提起瓶子并同时打开瓶盖。时间。