当前位置: X-MOL 学术J. Cloud Comp. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Intelligent cloud workflow management and scheduling method for big data applications
Journal of Cloud Computing ( IF 3.418 ) Pub Date : 2020-07-21 , DOI: 10.1186/s13677-020-00177-8
Yannian Hu , Hui Wang , Wenge Ma

With the application and comprehensive development of big data technology, the need for effective research on cloud workflow management and scheduling is becoming increasingly urgent. However, there are currently suitable methods for effective analysis. To determine how to effectively manage and schedule smart cloud workflows, this article studies big data from various aspects and draws the following conclusions: Compared with the original JStorm system, the response time is shortened by a maximum of 58.26% and an average of 23.18%, CPU resource utilization is increased by a maximum of 17.96% and an average of 11.39%, and memory utilization increased by a maximum of 88.7% and an average of 71.16%. In terms of optimizing the dynamic combination of web services, the overall performance of both the MOACO and CCA algorithms is better than that of the GA algorithm, and the average performance of the MOACO algorithm is better than that of the CCA algorithm. This paper also proposes a cloud workflow scheduling strategy based on an intelligent algorithm and realizes the two-tier scheduling of cloud workflow tasks by adjusting the combination strategy for cloud service resources. We have studied three representative intelligent algorithms (ACO, PSO and GA) and improved them for scheduling optimization. It can be clearly seen that in the same scenario, the optimal values of the different algorithms vary greatly for different test cases. However, the optimal solution curve is substantially consistent with the trend of the mean curve.

中文翻译:

大数据应用的智能云工作流管理与调度方法

随着大数据技术的应用和全面发展,对云工作流管理和调度进行有效研究的需求变得越来越紧迫。但是,目前存在用于有效分析的合适方法。为了确定如何有效地管理和调度智能云工作流,本文从各个方面研究大数据并得出以下结论:与原始JStorm系统相比,响应时间最多缩短了58.26%,平均缩短了23.18%。 ,CPU资源利用率最多增加了17.96%,平均增加了11.39%,内存利用率最多增加了88.7%,平均增加了71.16%。在优化Web服务的动态组合方面,MOACO和CCA算法的整体性能均优于GA算法,而MOACO算法的平均性能优于CCA算法。本文还提出了一种基于智能算法的云工作流调度策略,并通过调整云服务资源的组合策略实现了云工作流任务的两层调度。我们研究了三种代表性的智能算法(ACO,PSO和GA),并对它们进行了优化以进行调度优化。可以清楚地看到,在同一场景下,不同测试案例的不同算法的最优值差异很大。但是,最优解曲线与平均曲线的趋势基本一致。MOACO算法的平均性能优于CCA算法。本文还提出了一种基于智能算法的云工作流调度策略,并通过调整云服务资源的组合策略实现了云工作流任务的两层调度。我们研究了三种代表性的智能算法(ACO,PSO和GA),并对它们进行了优化以进行调度优化。可以清楚地看到,在同一场景下,不同测试案例的不同算法的最优值差异很大。但是,最优解曲线与平均曲线的趋势基本一致。MOACO算法的平均性能优于CCA算法。本文还提出了一种基于智能算法的云工作流调度策略,并通过调整云服务资源的组合策略实现了云工作流任务的两层调度。我们研究了三种代表性的智能算法(ACO,PSO和GA),并对它们进行了优化以进行调度优化。可以清楚地看到,在同一场景下,不同测试案例的不同算法的最优值差异很大。但是,最优解曲线与平均曲线的趋势基本一致。本文还提出了一种基于智能算法的云工作流调度策略,并通过调整云服务资源的组合策略实现了云工作流任务的两层调度。我们研究了三种代表性的智能算法(ACO,PSO和GA),并对它们进行了优化以进行调度优化。可以清楚地看到,在同一场景下,不同测试案例的不同算法的最优值差异很大。但是,最优解曲线与平均曲线的趋势基本一致。本文还提出了一种基于智能算法的云工作流调度策略,并通过调整云服务资源的组合策略实现了云工作流任务的两层调度。我们研究了三种代表性的智能算法(ACO,PSO和GA),并对它们进行了优化以进行调度优化。可以清楚地看到,在同一场景下,不同测试案例的不同算法的最优值差异很大。但是,最优解曲线与平均曲线的趋势基本一致。对于不同的测试案例,不同算法的最佳值差异很大。但是,最优解曲线与平均曲线的趋势基本一致。对于不同的测试案例,不同算法的最佳值差异很大。但是,最优解曲线与平均曲线的趋势基本一致。
更新日期:2020-07-22
down
wechat
bug