The polyhedral model allows a structured way of defining semantics-preserving transformations to improve the performance of a large class of loops. Finding profitable points in this space is a hard problem which is usually approached by heuristics that generalize from domain-expert knowledge. Existing problem formulations in state-of-the-art heuristics depend on the shape of particular loops, making it hard to leverage generic and more powerful optimization techniques from the machine learning domain. In this paper, we propose PolyGym, a shape-agnostic formulation for the space of legal transformations in the polyhedral model as a Markov Decision Process (MDP). Instead of using transformations, the formulation is based on an abstract space of possible schedules. In this formulation, states model partial schedules, which are constructed by actions that are reusable across different loops. With a simple heuristic to traverse the space, we demonstrate that our formulation is powerful enough to match and outperform state-of-the-art heuristics. On the Polybench benchmark suite, we found transformations that led to a speedup of 3.39x over LLVM O3, which is 1.83x better than the speedup achieved by ISL. Our generic MDP formulation enables using reinforcement learning to learn optimization policies over a wide range of loops. This also contributes to the emerging field of machine learning in compilers, as it exposes a novel problem formulation that can push the limits of existing methods.

中文翻译：

---

多面体优化的强化学习环境

多面模型允许以结构化的方式定义保留语义的转换，以提高大型循环类的性能。在这个空间中找到有利可图的点是一个难题，通常通过从领域专家知识中得出的启发式方法来解决。最新启发式方法中的现有问题表述取决于特定循环的形状，因此很难利用来自机器学习领域的通用且更强大的优化技术。在本文中，我们提出了PolyGym，这是一种多面体模型中法律变换空间的形状不可知的公式，称为Markov决策过程（MDP）。该公式不是使用转换，而是基于可能的进度表的抽象空间。在这种表述中，州对部分进度表进行建模，这些动作是由可在不同循环中重复使用的动作构成的。通过简单的启发式方法遍历空间，我们证明了我们的公式足够强大，可以匹配并优于最新的启发式方法。在Polybench基准套件上，我们发现进行了转换，使LLVM O3的速度提高了3.39倍，比ISL的速度提高了1.83倍。我们通用的MDP公式使您能够使用强化学习在广泛的循环中学习优化策略。这也为编译器中机器学习的新兴领域做出了贡献，因为它揭示了一种新颖的问题表述，可以推翻现有方法的局限性。我们证明了我们的公式足够强大，可以匹配并优于最新的启发式算法。在Polybench基准套件上，我们发现进行了转换，使LLVM O3的速度提高了3.39倍，比ISL的速度提高了1.83倍。我们通用的MDP公式使您能够使用强化学习在广泛的循环中学习优化策略。这也为编译器中机器学习的新兴领域做出了贡献，因为它揭示了一种新颖的问题表述，可以推翻现有方法的局限性。我们证明了我们的公式足够强大，可以匹配并优于最新的启发式算法。在Polybench基准套件上，我们发现进行了转换，使LLVM O3的速度提高了3.39倍，比ISL的速度提高了1.83倍。我们通用的MDP公式使您能够使用强化学习在广泛的循环中学习优化策略。这也为编译器中机器学习的新兴领域做出了贡献，因为它揭示了一种新颖的问题表述，可以推翻现有方法的局限性。