In robot teleoperation, a lack of depth information often results in collisions between the robots and obstacles in its path or surroundings. To address this issue, free viewpoint images can greatly benefit the operators in terms of collision avoidance as the operators are able to view the robot’s surrounding from the images at arbitrary points, giving them a better depth information. In this paper, a novel free viewpoint image generation system is proposed. One approach to generate free viewpoint images is to use multiple cameras and Light Detection and Ranging (LiDAR). Instead of using the expensive LiDAR, this study utilizes a cost-effective laser rangefinder (LRF) and a characteristic of man-made environments. In other words, we install multiple fisheye cameras and an LRF on a robot. Free viewpoint images are generated under the assumption that walls are perpendicular to the floor. Furthermore, an easy calibration for estimating the poses of the multiple fisheye cameras, the LRF, and the robot model is proposed. Experimental results show that the proposed method can generate free viewpoint images using cameras and an LRF. Finally, the proposed method is primarily implemented using OpenGL Shading Language to utilize a graphics processing unit computation to achieve a real-time processing of the multiple high-resolution images. Supplementary videos and our source code are available at our project page (https://matsuren.github.io/fvp).

中文翻译：

---

使用鱼眼镜头和激光测距仪的免费视点图像生成系统，用于室内机器人遥控操作

在机器人遥控操作中，缺乏深度信息通常会导致机器人与机器人路径或周围环境中的障碍物发生碰撞。为了解决这个问题，自由视点图像可以在避免碰撞方面极大地有益于操作员，因为操作员可以从任意位置的图像查看机器人的周围环境，从而为他们提供更好的深度信息。本文提出了一种新颖的自由视点图像生成系统。生成自由视点图像的一种方法是使用多台摄像机和光检测和测距（LiDAR）。这项研究没有使用昂贵的LiDAR，而是利用了具有成本效益的激光测距仪（LRF）和人造环境的特征。换句话说，我们在机器人上安装了多个鱼眼镜头和一个LRF。自由视点图像是在假定墙壁垂直于地板的情况下生成的。此外，提出了一种用于估计多个鱼眼镜头，LRF和机器人模型的姿势的简便校准方法。实验结果表明，该方法可以利用摄像机和LRF生成自由视点图像。最后，所提出的方法主要是使用OpenGL阴影语言实现的，以利用图形处理单元计算来实现对多个高分辨率图像的实时处理。补充视频和源代码可在我们的项目页面（https://matsuren.github.io/fvp）中获得。实验结果表明，该方法可以利用摄像机和LRF生成自由视点图像。最后，所提出的方法主要是使用OpenGL阴影语言实现的，以利用图形处理单元计算来实现对多个高分辨率图像的实时处理。补充视频和我们的源代码可在我们的项目页面（https://matsuren.github.io/fvp）中获得。实验结果表明，该方法可以利用摄像机和LRF生成自由视点图像。最后，所提出的方法主要是使用OpenGL阴影语言实现的，以利用图形处理单元计算来实现对多个高分辨率图像的实时处理。补充视频和我们的源代码可在我们的项目页面（https://matsuren.github.io/fvp）中获得。