This article proposes a new parallel performance model for different workloads of Spark Big Data applications running on Hadoop clusters. The proposed model can predict the runtime for generic workloads as a function of the number of executors, without necessarily knowing how the algorithms were implemented. For a certain problem size, it is shown that a model based on serial boundaries for a 2D arrangement of executors can fit the empirical data for various workloads. The empirical data was obtained from a real Hadoop cluster, using Spark and HiBench. The workloads used in this work were included WordCount, SVM, Kmeans, PageRank and Graph (Nweight). A particular runtime pattern emerged when adding more executors to run a job. For some workloads, the runtime was longer with more executors added. This phenomenon is predicted with the new model of parallelisation. The resulting equation from the model explains certain performance patterns that do not fit Amdahl’s law predictions, nor Gustafson’s equation. The results show that the proposed model achieved the best fit with all workloads and most of the data sizes, using the R-squared metric for the accuracy of the fitting of empirical data. The proposed model has advantages over machine learning models due to its simplicity, requiring a smaller number of experiments to fit the data. This is very useful to practitioners in the area of Big Data because they can predict runtime of specific applications by analysing the logs. In this work, the model is limited to changes in the number of executors for a fixed problem size.

本文针对在 Hadoop 集群上运行的 Spark 大数据应用程序的不同工作负载提出了一种新的并行性能模型。所提出的模型可以将通用工作负载的运行时间预测为执行器数量的函数，而不必知道算法是如何实现的。对于特定的问题规模，结果表明，基于串行边界的 2D 执行器排列模型可以拟合各种工作负载的经验数据。经验数据是从真实的 Hadoop 集群中获得的，使用 Spark 和 HiBench。这项工作中使用的工作负载包括 WordCount、SVM、Kmeans、PageRank 和 Graph (Nweight)。添加更多执行程序来运行作业时，出现了一种特定的运行时模式。对于某些工作负载，运行时间更长，添加了更多的执行程序。这种现象是用新的并行化模型预测的。模型的结果方程解释了某些不符合阿姆达尔定律预测的性能模式，也不符合古斯塔夫森方程。结果表明，所提出的模型对所有工作负载和大多数数据大小都实现了最佳拟合，使用 R 平方度量来拟合经验数据的准确性。所提出的模型由于其简单性而优于机器学习模型，需要较少数量的实验来拟合数据。这对大数据领域的从业者非常有用，因为他们可以通过分析日志来预测特定应用程序的运行时间。在这项工作中，模型仅限于固定问题规模的执行者数量的变化。模型的结果方程解释了某些不符合阿姆达尔定律预测的性能模式，也不符合古斯塔夫森方程。结果表明，所提出的模型对所有工作负载和大多数数据大小都实现了最佳拟合，使用 R 平方度量来拟合经验数据的准确性。所提出的模型由于其简单性而优于机器学习模型，需要较少数量的实验来拟合数据。这对大数据领域的从业者非常有用，因为他们可以通过分析日志来预测特定应用程序的运行时间。在这项工作中，模型仅限于固定问题规模的执行者数量的变化。模型的结果方程解释了某些不符合阿姆达尔定律预测的性能模式，也不符合古斯塔夫森方程。结果表明，所提出的模型对所有工作负载和大多数数据大小都实现了最佳拟合，使用 R 平方度量来拟合经验数据的准确性。所提出的模型由于其简单性而优于机器学习模型，需要较少数量的实验来拟合数据。这对大数据领域的从业者非常有用，因为他们可以通过分析日志来预测特定应用程序的运行时间。在这项工作中，模型仅限于固定问题规模的执行者数量的变化。结果表明，所提出的模型对所有工作负载和大多数数据大小都实现了最佳拟合，使用 R 平方度量来拟合经验数据的准确性。所提出的模型由于其简单性而优于机器学习模型，需要较少数量的实验来拟合数据。这对大数据领域的从业者非常有用，因为他们可以通过分析日志来预测特定应用程序的运行时间。在这项工作中，模型仅限于固定问题规模的执行者数量的变化。结果表明，所提出的模型对所有工作负载和大多数数据大小都实现了最佳拟合，使用 R 平方度量来拟合经验数据的准确性。所提出的模型由于其简单性而优于机器学习模型，需要较少数量的实验来拟合数据。这对大数据领域的从业者非常有用，因为他们可以通过分析日志来预测特定应用程序的运行时间。在这项工作中，模型仅限于固定问题规模的执行者数量的变化。这对大数据领域的从业者非常有用，因为他们可以通过分析日志来预测特定应用程序的运行时间。在这项工作中，模型仅限于固定问题规模的执行者数量的变化。这对大数据领域的从业者非常有用，因为他们可以通过分析日志来预测特定应用程序的运行时间。在这项工作中，模型仅限于固定问题规模的执行者数量的变化。