Optical microrobots have a wide range of applications in biomedical research for both in vitro and in vivo studies. In most microrobotic systems, the video captured by a monocular camera is the only way for visualizing the movements of microrobots, and only planar motion, in general, can be captured by a monocular camera system. Accurate depth estimation is essential for 3D reconstruction or autofocusing of microplatforms, while the pose and depth estimation are necessary to enhance the 3D perception of the microrobotic systems to enable dexterous micromanipulation and other tasks. In this paper, we propose a data-driven method for pose and depth estimation in an optically manipulated microrobotic system. Focus measurement is used to obtain features for Gaussian Process Regression (GPR), which enables precise depth estimation. For mobile microrobots with varying poses, a novel method is developed based on a deep residual neural network with the incorporation of prior domain knowledge about the optical microrobots encoded via GPR. The method can simultaneously track microrobots with complex shapes and estimate the pose and depth values of the optical microrobots. Cross-validation has been conducted to demonstrate the submicron accuracy of the proposed method and precise pose and depth perception for microrobots. We further demonstrate the generalizability of the method by adapting it to microrobots of different shapes using transfer learning with few-shot calibration. Intuitive visualization is provided to facilitate effective human-robot interaction during micromanipulation based on pose and depth estimation results.

中文翻译：

---

数据驱动的光学微型机器人操纵的微观姿势和深度估计

光学微型机器人在生物医学研究中具有广泛的应用，可用于体外和体内研究。在大多数微型机器人系统中，单眼相机捕获的视频是可视化微型机器人运动的唯一方法，通常，单眼相机系统只能捕获平面运动。精确的深度估计对于微平台的3D重建或自动聚焦至关重要，而姿势和深度估计对于增强微机器人系统的3D感知能力是必需的，以实现灵巧的微操纵和其他任务。在本文中，我们提出了一种数据驱动的方法，用于在光学操纵的微型机器人系统中进行姿势和深度估计。焦点测量用于获得高斯过程回归（GPR）的特征，从而可以进行精确的深度估计。对于具有不同姿势的移动微型机器人，基于深度残差神经网络并结合有关通过GPR编码的光学微型机器人的现有领域知识，开发了一种新方法。该方法可以同时跟踪具有复杂形状的微型机器人，并估计光学微型机器人的姿态和深度值。已经进行了交叉验证，以证明所提出方法的亚微米精度以及微型机器人的精确姿态和深度感知。我们通过使用带有少量校正的转移学习将其适应于不同形状的微型机器人，进一步证明了该方法的通用性。提供直观的可视化功能，以基于姿势和深度估计结果在微操作过程中促进有效的人机交互。基于深度残差神经网络并结合有关通过GPR编码的光学微型机器人的现有领域知识，开发了一种新方法。该方法可以同时跟踪具有复杂形状的微型机器人，并估计光学微型机器人的姿态和深度值。已经进行了交叉验证，以证明所提出方法的亚微米精度以及微型机器人的精确姿态和深度感知。我们通过使用带有少量校正的转移学习将其适应于不同形状的微型机器人，进一步证明了该方法的通用性。提供直观的可视化功能，以基于姿势和深度估计结果在微操作过程中促进有效的人机交互。基于深度残差神经网络并结合有关通过GPR编码的光学微型机器人的现有领域知识，开发了一种新方法。该方法可以同时跟踪具有复杂形状的微型机器人，并估计光学微型机器人的姿态和深度值。已经进行了交叉验证，以证明所提出方法的亚微米精度以及微型机器人的精确姿态和深度感知。我们通过使用带有少量校正的转移学习将其适应于不同形状的微型机器人，进一步证明了该方法的通用性。提供直观的可视化功能，以基于姿势和深度估计结果在微操作过程中促进有效的人机交互。