Given access to accurate dynamical models, modern planning approaches are effective in computing feasible and optimal plans for repetitive robotic tasks. However, it is difficult to model the true dynamics of the real world before execution, especially for tasks requiring interactions with objects whose parameters are unknown. A recent planning approach, CMAX, tackles this problem by adapting the planner online during execution to bias the resulting plans away from inaccurately modeled regions. CMAX, while being provably guaranteed to reach the goal, requires strong assumptions on the accuracy of the model used for planning and fails to improve the quality of the solution over repetitions of the same task. In this paper we propose CMAX++, an approach that leverages real-world experience to improve the quality of resulting plans over successive repetitions of a robotic task. CMAX++ achieves this by integrating model-free learning using acquired experience with model-based planning using the potentially inaccurate model. We provide provable guarantees on the completeness and asymptotic convergence of CMAX++ to the optimal path cost as the number of repetitions increases. CMAX++ is also shown to outperform baselines in simulated robotic tasks including 3D mobile robot navigation where the track friction is incorrectly modeled, and a 7D pick-and-place task where the mass of the object is unknown leading to discrepancy between true and modeled dynamics.

中文翻译：

---

CMAX++：利用不准确模型的规划和执行经验

如果可以访问准确的动态模型，现代规划方法可以有效地计算重复机器人任务的可行和最佳计划。然而，在执行之前很难对现实世界的真实动态进行建模，特别是对于需要与参数未知的对象进行交互的任务。最近的一种规划方法 CMAX 通过在执行期间在线调整规划器来解决这个问题，以将生成的规划偏离不准确建模的区域。CMAX 虽然可以证明可以保证达到目标，但需要对用于规划的模型的准确性进行强有力的假设，并且无法通过重复相同的任务来提高解决方案的质量。在本文中，我们提出了 CMAX++，一种利用现实世界经验来提高机器人任务连续重复产生的计划质量的方法。CMAX++ 通过将使用获得的经验的无模型学习与使用潜在不准确模型的基于模型的规划相结合来实现这一点。随着重复次数的增加，我们对 CMAX++ 的完整性和渐近收敛到最优路径成本提供了可证明的保证。CMAX++ 在模拟机器人任务中的表现也优于基线，包括 3D 移动机​​器人导航，其中轨道摩擦被错误建模，以及 7D 拾取和放置任务，其中物体的质量未知，导致真实动力学和建模动力学之间存在差异。CMAX++ 通过将使用获得的经验的无模型学习与使用潜在不准确模型的基于模型的规划相结合来实现这一点。随着重复次数的增加，我们对 CMAX++ 的完整性和渐近收敛到最优路径成本提供了可证明的保证。CMAX++ 在模拟机器人任务中的表现也优于基线，包括 3D 移动机​​器人导航，其中轨道摩擦被错误建模，以及 7D 拾取和放置任务，其中物体的质量未知，导致真实动力学和建模动力学之间存在差异。CMAX++ 通过将使用获得的经验的无模型学习与使用潜在不准确模型的基于模型的规划相结合来实现这一点。随着重复次数的增加，我们对 CMAX++ 的完整性和渐近收敛到最优路径成本提供了可证明的保证。CMAX++ 在模拟机器人任务中的表现也优于基线，包括 3D 移动机​​器人导航，其中轨道摩擦被错误建模，以及 7D 拾取和放置任务，其中物体的质量未知，导致真实动力学和建模动力学之间存在差异。