In this paper, we use modeling and prediction tool MuMMI (Multiple Metrics Modeling Infrastructure) and ten machine learning methods to model and predict performance and power and compare their prediction error rates. We use a fault-tolerant linear algebra code and a fault-tolerant heat distribution code to conduct our modeling and prediction study on the Cray XC40 Theta and IBM BG/Q Mira at Argonne National Laboratory and the Intel Haswell cluster Shepard at Sandia National Laboratories. Our experiment results show that the prediction error rates in performance and power using MuMMI are less than 10% for most cases. Based on the models for runtime, node power, CPU power, and memory power, we identify the most significant performance counters for potential optimization efforts associated with the application characteristics and the target architectures, and we predict theoretical outcomes of the potential optimizations. When we compare the prediction accuracy using MuMMI with that using 10 machine learning methods, we observe that MuMMI not only results in more accurate prediction in both performance and power but also presents how performance counters impact the performance and power models. This provides some insights about how to fine-tune the applications and/or systems for energy efficiency.

中文翻译：

---

使用 MuMMI 和十种机器学习方法进行性能和功耗建模和预测

在本文中，我们使用建模和预测工具 MuMMI（Multiple Metrics Modeling Infrastructure）和十种机器学习方法对性能和功耗进行建模和预测，并比较它们的预测错误率。我们使用容错线性代数代码和容错热分布代码对阿贡国家实验室的 Cray XC40 Theta 和 IBM BG/Q Mira 以及桑迪亚国家实验室的英特尔 Haswell 集群 Shepard 进行建模和预测研究。我们的实验结果表明，在大多数情况下，使用 MuMMI 的性能和功耗预测错误率低于 10%。基于运行时间、节点功率、CPU 功率和内存功率的模型，我们为与应用程序特征和目标架构相关的潜在优化工作确定了最重要的性能计数器，并预测了潜在优化的理论结果。当我们将使用 MuMMI 的预测精度与使用 10 种机器学习方法的预测精度进行比较时，我们观察到 MuMMI 不仅在性能和功耗方面产生更准确的预测，而且还展示了性能计数器如何影响性能和功耗模型。这提供了一些关于如何微调应用程序和/或系统以提高能效的见解。我们观察到，MuMMI 不仅可以更准确地预测性能和功耗，还可以展示性能计数器如何影响性能和功耗模型。这提供了一些关于如何微调应用程序和/或系统以提高能效的见解。我们观察到，MuMMI 不仅可以更准确地预测性能和功耗，还可以展示性能计数器如何影响性能和功耗模型。这提供了一些关于如何微调应用程序和/或系统以提高能效的见解。