Cloud computing is one of the most popular distributed environments, in which, multiple powerful and heterogeneous resources are used by different user applications. Task scheduling and resource provisioning are two important challenges of cloud environment, called cloud resource management. Resource management is a major problem especially for scientific workflows due to their heavy calculations and dependency between their operations. Several algorithms and methods have been developed to manage cloud resources. In this paper, the combination of state-action-reward-state-action learning and genetic algorithm is used to manage cloud resources. At the first step, the intelligent agents schedule the tasks during the learning process by exploring the workflow. Then, in the resource provisioning step, each resource is assigned to an agent, and its utilization is attempted to be maximized in the learning process of its corresponding agent. This is conducted by selecting the most appropriate set of the tasks that maximizes the utilization of the resource. Genetic algorithm is utilized for convergence of the agents of the proposed method, and to achieve global optimization. The fitness function that has been exploited by this genetic algorithm seeks to achieve more efficient resource utilization and better load balancing by observing the deadlines of the tasks. The experimental results show that the proposed algorithm reduces makespan, enhances resource utilization, and improves load balancing, compared to MOHEFT and MCP, the well-known workflow scheduling algorithms of the literature.

中文翻译：

---

使用并行 SARSA 强化学习代理和遗传算法在科学工作流上进行任务调度、资源供应和负载平衡

云计算是最流行的分布式环境之一，其中多个强大的异构资源被不同的用户应用程序使用。任务调度和资源调配是云环境的两个重要挑战，称为云资源管理。资源管理是一个主要问题，特别是对于科学工作流，因为它们的计算量很大，而且它们的操作之间存在依赖性。已经开发了多种算法和方法来管理云资源。本文采用状态-动作-奖励-状态-动作学习和遗传算法相结合的方法来管理云资源。第一步，智能代理通过探索工作流来安排学习过程中的任务。然后，在资源供应步骤中，每个资源都分配给一个代理，并试图在其相应代理的学习过程中最大化其利用率。这是通过选择最合适的任务集来最大限度地利用资源来进行的。遗传算法用于所提出方法的代理的收敛，并实现全局优化。该遗传算法利用的适应度函数旨在通过观察任务的最后期限来实现更有效的资源利用和更好的负载平衡。实验结果表明，与文献中著名的工作流调度算法 MOHEFT 和 MCP 相比，所提出的算法减少了制造时间，提高了资源利用率，并改善了负载平衡。这是通过选择最合适的任务集来最大限度地利用资源来进行的。遗传算法用于所提出方法的代理的收敛，并实现全局优化。该遗传算法利用的适应度函数旨在通过观察任务的最后期限来实现更有效的资源利用和更好的负载平衡。实验结果表明，与文献中著名的工作流调度算法 MOHEFT 和 MCP 相比，所提出的算法减少了制造时间，提高了资源利用率，并改善了负载平衡。这是通过选择最合适的任务集来最大限度地利用资源来进行的。遗传算法用于所提出方法的代理的收敛，并实现全局优化。该遗传算法利用的适应度函数旨在通过观察任务的最后期限来实现更有效的资源利用和更好的负载平衡。实验结果表明，与文献中著名的工作流调度算法 MOHEFT 和 MCP 相比，所提出的算法减少了制造时间，提高了资源利用率，并改善了负载平衡。并实现全局优化。该遗传算法利用的适应度函数旨在通过观察任务的最后期限来实现更有效的资源利用和更好的负载平衡。实验结果表明，与文献中著名的工作流调度算法 MOHEFT 和 MCP 相比，所提出的算法减少了制造时间，提高了资源利用率，并改善了负载平衡。并实现全局优化。该遗传算法利用的适应度函数旨在通过观察任务的最后期限来实现更有效的资源利用和更好的负载平衡。实验结果表明，与文献中著名的工作流调度算法 MOHEFT 和 MCP 相比，所提出的算法减少了制造时间，提高了资源利用率，并改善了负载平衡。