We present an algorithm and a software architecture for a cloud-based system that executes cyclic scientific workflows whose structure may change during run time. Existing approaches either rely on workflow definitions based on directed acyclic graphs (DAGs) or require workarounds to implement cyclic structures. In contrast, our system supports cycles natively, avoids workarounds, and as such reduces the complexity of workflow modelling and maintenance. Our algorithm traverses workflow graphs and transforms them iteratively into linear sequences of executable actions. We call these sequences process chains. Our software architecture distributes the process chains to multiple compute nodes in the cloud and oversees their execution. We evaluate our approach by applying it to two practical use cases from the domains of astronomy and engineering. We also compare it with two existing workflow management systems. The evaluation demonstrates that our algorithm is able to execute dynamically changing workflows with cycles and that design and maintenance of complex workflows is easier than with existing solutions. It also shows that our software architecture can run process chains on multiple compute nodes in parallel to significantly speed up the workflow execution. An implementation of our algorithm and the software architecture is available with the Steep Workflow Management System that we released under an open-source license. The resources for the first practical use case are also available as open source for reproduction.

中文翻译：

---

在云中执行循环科学工作流程

我们为基于云的系统提供一种算法和一种软件体系结构，该系统执行循环科学工作流，其结构可能在运行时发生变化。现有方法要么依赖基于有向无环图（DAG）的工作流定义，要么需要变通方法来实现循环结构。相反，我们的系统本地支持周期，避免了变通办法，因此降低了工作流建模和维护的复杂性。我们的算法遍历工作流图并将其迭代地转换为可执行动作的线性序列。我们称这些序列为过程链。我们的软件架构将流程链分发到云中的多个计算节点，并监督它们的执行。我们通过将其应用于来自天文学和工程学领域的两个实际用例来评估我们的方法。我们还将其与两个现有的工作流管理系统进行比较。评估表明，我们的算法能够按周期执行动态变化的工作流程，并且复杂工作流程的设计和维护比现有解决方案更容易。它还表明，我们的软件体系结构可以在多个计算节点上并行运行流程链，从而显着加快了工作流程的执行速度。我们以开放源代码许可证发布的Steep Workflow管理系统提供了我们算法和软件体系结构的实现。也可以将第一个实际用例的资源作为开放源进行复制。评估表明，我们的算法能够按周期执行动态变化的工作流程，并且复杂工作流程的设计和维护比现有解决方案更容易。它还表明，我们的软件体系结构可以在多个计算节点上并行运行流程链，从而显着加快了工作流程的执行速度。我们以开放源代码许可证发布的Steep Workflow管理系统提供了我们算法和软件体系结构的实现。也可以将第一个实际用例的资源作为开放源进行复制。评估表明，我们的算法能够按周期执行动态变化的工作流程，并且复杂工作流程的设计和维护比现有解决方案更容易。它还表明，我们的软件体系结构可以在多个计算节点上并行运行流程链，从而显着加快了工作流程的执行速度。我们以开放源代码许可证发布的Steep Workflow管理系统提供了我们算法和软件体系结构的实现。也可以将第一个实际用例的资源作为开放源进行复制。它还表明，我们的软件体系结构可以在多个计算节点上并行运行流程链，从而显着加快了工作流程的执行速度。我们以开放源代码许可证发布的Steep Workflow管理系统提供了我们算法和软件体系结构的实现。也可以将第一个实际用例的资源作为开放源进行复制。它还表明，我们的软件体系结构可以在多个计算节点上并行运行流程链，从而显着加快了工作流程的执行速度。我们以开放源代码许可证发布的Steep Workflow管理系统提供了我们算法和软件体系结构的实现。第一个实际用例的资源也可以作为开放源进行复制。