In minimally invasive surgery, the primary surgeon requires an assistant to hold an endoscope to obtain visual information from the body cavity. However, the two-dimensional images acquired by endoscopy lack depth information. Future automatic robotic surgeries need three-dimensional information of the target area. This paper presents a method to reconstruct a 3D model of soft tissues from image sequences acquired from a robotic camera holder. In this algorithm, a sparse reconstruction module based on the SIFT and SURF features is designed, and a multilevel feature matching strategy is proposed to improve the algorithm efficiency. To recover the realistic effect of the soft-tissue model, a complete 3D reconstruction algorithm is implemented, including densification, meshing of the point cloud and texture mapping reconstruction. During the texture reconstruction stage, a mathematical model is proposed to achieve the repair of texture seams. To verify the feasibility of the proposed method, we use a collaborative manipulator (AUBO i5) with a mounted camera to mimic an assistant surgeon holding an endoscope. To satisfy a pivotal constraint imposed by the remote center of motion (RCM), a kinematic algorithm of the manipulator is implemented, and the primary surgeon is provided with a voice control interface to control the directions of the camera with. We conducted an experiment to show a 3D reconstruction of soft tissue by the proposed method and the manipulator, which indicates that the manipulator works as a robotic assistant which can hold a camera to provide abundant information in the surgery.

在微创手术中，主治医师需要助手手持内窥镜，从体腔获取视觉信息。然而，内窥镜获取的二维图像缺乏深度信息。未来的自动化机器人手术需要目标区域的三维信息。本文提出了一种根据从机器人相机支架获取的图像序列重建软组织 3D 模型的方法。该算法设计了基于SIFT和SURF特征的稀疏重建模块，并提出了多级特征匹配策略以提高算法效率。为了恢复软组织模型的真实效果，实现了完整的 3D 重建算法，包括点云的致密化、网格化和纹理映射重建。在纹理重建阶段，提出了一个数学模型来实现纹理接缝的修复。为了验证所提出方法的可行性，我们使用带有安装摄像头的协作机械手 (AUBO i5) 来模拟手持内窥镜的助理外科医生。为了满足远程运动中心 (RCM) 施加的枢轴约束，实现了机械手的运动学算法，并为主要外科医生提供了语音控制界面来控制相机的方向。我们进行了一个实验，展示了通过所提出的方法和机械手对软组织进行 3D 重建，这表明机械手作为机器人助手工作，可以拿着​​相机在手术中提供丰富的信息。提出了一种数学模型来实现纹理接缝的修复。为了验证所提出方法的可行性，我们使用带有安装摄像头的协作机械手 (AUBO i5) 来模拟手持内窥镜的助理外科医生。为了满足远程运动中心 (RCM) 施加的枢轴约束，实现了机械手的运动学算法，并为主要外科医生提供了语音控制界面来控制相机的方向。我们进行了一个实验，展示了通过所提出的方法和机械手对软组织进行 3D 重建，这表明机械手作为机器人助手工作，可以拿着​​相机在手术中提供丰富的信息。提出了一种数学模型来实现纹理接缝的修复。为了验证所提出方法的可行性，我们使用带有安装摄像头的协作机械手 (AUBO i5) 来模拟手持内窥镜的助理外科医生。为了满足远程运动中心 (RCM) 施加的枢轴约束，实现了机械手的运动学算法，并为主要外科医生提供了语音控制界面来控制相机的方向。我们进行了一个实验，展示了通过所提出的方法和机械手对软组织进行 3D 重建，这表明机械手作为机器人助手工作，可以拿着​​相机在手术中提供丰富的信息。我们使用带有摄像头的协作机械手 (AUBO i5) 来模拟手持内窥镜的助理外科医生。为了满足远程运动中心 (RCM) 施加的枢轴约束，实现了机械手的运动学算法，并为主要外科医生提供了语音控制界面来控制相机的方向。我们进行了一个实验，展示了通过所提出的方法和机械手对软组织进行 3D 重建，这表明机械手作为机器人助手工作，可以拿着​​相机在手术中提供丰富的信息。我们使用带有摄像头的协作机械手 (AUBO i5) 来模拟手持内窥镜的助理外科医生。为了满足远程运动中心 (RCM) 施加的枢轴约束，实现了机械手的运动学算法，并为主要外科医生提供了语音控制界面来控制相机的方向。我们进行了一个实验，展示了通过所提出的方法和机械手对软组织进行 3D 重建，这表明机械手作为机器人助手工作，可以拿着​​相机在手术中提供丰富的信息。主外科医生设有语音控制界面，用于控制摄像头的方向。我们进行了一个实验，展示了通过所提出的方法和机械手对软组织进行 3D 重建，这表明机械手作为机器人助手工作，可以拿着​​相机在手术中提供丰富的信息。主外科医生设有语音控制界面，用于控制摄像头的方向。我们进行了一个实验，展示了通过所提出的方法和机械手对软组织进行 3D 重建，这表明机械手作为机器人助手工作，可以拿着​​相机在手术中提供丰富的信息。