SUMMARYThis paper tackles the challenge of the necessity of using the sequence of past environment states as the controller’s inputs in a vision-based robot navigation task. In this task, a robot has to follow a given trajectory without falling in pits and missing its balance in uneven terrain, when the only sensory input is the raw image captured by a camera. The robot should distinguish big pits from small holes to decide between avoiding and passing over. In non-Markov processes such as the abovementioned task, the decision is done using past sensory data to ensure admissible performance. Applying images as sensory inputs naturally causes the curse of dimensionality difficulty. On the other hand, using sequences of past images intensifies this difficulty. In this paper, a new framework called recurrent deep learning (RDL) with combination of deep learning (DL) and recurrent neural network is proposed to cope with the above challenge. At first, the proper features are extracted from the raw image using DL. Then, these represented features plus some expert-defined features are used as the inputs of a fully connected recurrent network (as target network) to generate command control of the robot. To evaluate the proposed RDL framework, some experiments are established on WEBOTS and MATLAB co-simulation platform. The simulation results demonstrate the proposed framework outperforms the conventional controller based on DL for the navigation task in the uneven terrains.

中文翻译：

---

循环神经网络与深度学习相结合的越野环境下机器人导航任务

摘要本文解决了在基于视觉的机器人导航任务中使用过去环境状态序列作为控制器输入的必要性挑战。在这项任务中，当唯一的感官输入是相机捕获的原始图像时，机器人必须遵循给定的轨迹而不会掉入坑中并且在不平坦的地形中失去平衡。机器人应区分大坑和小坑，以决定避开和通过。在诸如上述任务的非马尔可夫过程中，决策是使用过去的感官数据完成的，以确保可接受的性能。将图像用作感官输入自然会导致维度困难的诅咒。另一方面，使用过去图像的序列加剧了这一困难。在本文中，为了应对上述挑战，提出了一种结合深度学习（DL）和循环神经网络的称为循环深度学习（RDL）的新框架。首先，使用深度学习从原始图像中提取适当的特征。然后，这些表示的特征加上一些专家定义的特征被用作完全连接的循环网络（作为目标网络）的输入，以生成机器人的命令控制。为了评估所提出的 RDL 框架，在 WEBOTS 和 MATLAB 联合仿真平台上建立了一些实验。仿真结果表明，对于不平坦地形中的导航任务，所提出的框架优于基于 DL 的传统控制器。使用深度学习从原始图像中提取正确的特征。然后，这些表示的特征加上一些专家定义的特征被用作完全连接的循环网络（作为目标网络）的输入，以生成机器人的命令控制。为了评估所提出的 RDL 框架，在 WEBOTS 和 MATLAB 联合仿真平台上建立了一些实验。仿真结果表明，对于不平坦地形中的导航任务，所提出的框架优于基于 DL 的传统控制器。使用深度学习从原始图像中提取正确的特征。然后，这些表示的特征加上一些专家定义的特征被用作完全连接的循环网络（作为目标网络）的输入，以生成机器人的命令控制。为了评估所提出的 RDL 框架，在 WEBOTS 和 MATLAB 联合仿真平台上建立了一些实验。仿真结果表明，对于不平坦地形中的导航任务，所提出的框架优于基于 DL 的传统控制器。