Safe unmanned ground vehicle navigation in unknown rough terrain is crucial for various tasks such as exploration, search and rescue and agriculture. Offline global planning is often not possible when operating in harsh, unknown environments, and therefore, online local planning must be used. Most online rough terrain local planners require heavy computational resources, used for optimal trajectory searching and estimating vehicle orientation in positions within the range of the sensors. In this work, we present a deep reinforcement learning approach for local planning in unknown rough terrain with zero-range to local-range sensing, achieving superior results compared to potential fields or local motion planning search spaces methods. Our approach includes reward shaping which provides a dense reward signal. We incorporate self-attention modules into our deep reinforcement learning architecture in order to increase the explainability of the learnt policy. The attention modules provide insight regarding the relative importance of sensed inputs during training and planning. We extend and validate our approach in a dynamic simulation, demonstrating successful safe local planning in environments with a continuous terrain and a variety of discrete obstacles. By adding the geometric transformation between two successive timesteps and the corresponding action as inputs, our architecture is able to navigate on surfaces with different levels of friction. Reinforcement learning, autonomous vehicle navigation, motion and path planning.

中文翻译：

---

未知崎岖地形中地面车辆安全局部规划的深度强化学习

在未知的崎岖地形中安全的无人地面车辆导航对于探索、搜救和农业等各种任务至关重要。在恶劣、未知的环境中运行时，通常无法进行离线全局规划，因此必须使用在线局部规划。大多数在线粗糙地形局部规划器需要大量计算资源，用于优化轨迹搜索和估计传感器范围内位置的车辆方向。在这项工作中，我们提出了一种深度强化学习方法，用于未知粗糙地形中的局部规划，具有零距离到局部范围的感知，与潜在场或局部运动规划搜索空间方法相比，取得了更好的结果。我们的方法包括提供密集奖励信号的奖励塑造。我们将自注意力模块整合到我们的深度强化学习架构中，以提高学习策略的可解释性。注意力模块提供有关在培训和计划期间感知输入的相对重要性的洞察力。我们在动态模拟中扩展并验证了我们的方法，展示了在具有连续地形和各种离散障碍物的环境中成功的安全本地规划。通过在两个连续的时间步长和相应的动作之间添加几何变换作为输入，我们的架构能够在具有不同摩擦级别的表面上导航。强化学习、自主车辆导航、运动和路径规划。注意力模块提供有关在培训和计划期间感知输入的相对重要性的洞察力。我们在动态模拟中扩展并验证了我们的方法，展示了在具有连续地形和各种离散障碍物的环境中成功的安全本地规划。通过在两个连续的时间步长和相应的动作之间添加几何变换作为输入，我们的架构能够在具有不同摩擦级别的表面上导航。强化学习、自主车辆导航、运动和路径规划。注意力模块提供有关在培训和计划期间感知输入的相对重要性的洞察力。我们在动态模拟中扩展并验证了我们的方法，展示了在具有连续地形和各种离散障碍物的环境中成功的安全本地规划。通过在两个连续的时间步长和相应的动作之间添加几何变换作为输入，我们的架构能够在具有不同摩擦级别的表面上导航。强化学习、自主车辆导航、运动和路径规划。在具有连续地形和各种离散障碍物的环境中展示成功的安全本地规划。通过在两个连续的时间步长和相应的动作之间添加几何变换作为输入，我们的架构能够在具有不同摩擦级别的表面上导航。强化学习、自主车辆导航、运动和路径规划。在具有连续地形和各种离散障碍物的环境中展示成功的安全本地规划。通过在两个连续的时间步长和相应的动作之间添加几何变换作为输入，我们的架构能够在具有不同摩擦级别的表面上导航。强化学习、自主车辆导航、运动和路径规划。