Motivated by uncertain parameters encountered in Markov decision processes (MDPs), we study the effect of parameter uncertainty on Bellman operator-based methods. Specifically, we consider a family of MDPs where the cost parameters are from a given compact set. We then define a Bellman operator acting on an input set of value functions to produce a new set of value functions as the output under all possible variations in the cost parameters. Finally we prove the existence of a fixed point of this set-based Bellman operator by showing that it is a contractive operator on a complete metric space.

中文翻译：

---

基于集合的 Bellman 算子的不动点

受马尔可夫决策过程 (MDP) 中遇到的不确定参数的启发，我们研究了参数不确定性对基于贝尔曼算子的方法的影响。具体来说，我们考虑一系列 MDP，其中成本参数来自给定的紧凑集。然后，我们定义了一个 Bellman 算子，它作用于一组输入的价值函数，以在成本参数的所有可能变化下产生一组新的价值函数作为输出。最后，我们通过证明这个基于集合的 Bellman 算子是一个完备度量空间上的收缩算子来证明它的不动点的存在。