当前位置: X-MOL 学术ACM Trans. Softw. Eng. Methodol. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
An Empirical Study of the Impact of Data Splitting Decisions on the Performance of AIOps Solutions
ACM Transactions on Software Engineering and Methodology ( IF 4.4 ) Pub Date : 2021-07-23 , DOI: 10.1145/3447876
Yingzhe Lyu 1 , Heng Li 2 , Mohammed Sayagh 3 , Zhen Ming (Jack) Jiang 4 , Ahmed E. Hassan 1
Affiliation  

AIOps (Artificial Intelligence for IT Operations) leverages machine learning models to help practitioners handle the massive data produced during the operations of large-scale systems. However, due to the nature of the operation data, AIOps modeling faces several data splitting-related challenges, such as imbalanced data, data leakage, and concept drift. In this work, we study the data leakage and concept drift challenges in the context of AIOps and evaluate the impact of different modeling decisions on such challenges. Specifically, we perform a case study on two commonly studied AIOps applications: (1) predicting job failures based on trace data from a large-scale cluster environment and (2) predicting disk failures based on disk monitoring data from a large-scale cloud storage environment. First, we observe that the data leakage issue exists in AIOps solutions. Using a time-based splitting of training and validation datasets can significantly reduce such data leakage, making it more appropriate than using a random splitting in the AIOps context. Second, we show that AIOps solutions suffer from concept drift. Periodically updating AIOps models can help mitigate the impact of such concept drift, while the performance benefit and the modeling cost of increasing the update frequency depend largely on the application data and the used models. Our findings encourage future studies and practices on developing AIOps solutions to pay attention to their data-splitting decisions to handle the data leakage and concept drift challenges.

中文翻译:

数据拆分决策对 AIOps 解决方案性能影响的实证研究

AIOps(用于 IT 运营的人工智能)利用机器学习模型来帮助从业者处理大规模系统运营过程中产生的海量数据。然而,由于操作数据的性质,AIOps 建模面临着一些与数据拆分相关的挑战,例如数据不平衡、数据泄漏和概念漂移。在这项工作中,我们研究了 AIOps 环境下的数据泄漏和概念漂移挑战,并评估了不同建模决策对这些挑战的影响。具体来说,我们对两个常用的 AIOps 应用程序进行了案例研究:(1)基于来自大规模集群环境的跟踪数据预测作业失败;(2)基于来自大规模云存储的磁盘监控数据预测磁盘故障环境。第一的,我们观察到 AIOps 解决方案中存在数据泄漏问题。使用基于时间的训练和验证数据集拆分可以显着减少此类数据泄漏,使其比在 AIOps 上下文中使用随机拆分更合适。其次,我们表明 AIOps 解决方案存在概念漂移。定期更新 AIOps 模型有助于减轻这种概念漂移的影响,而提高更新频率的性能优势和建模成本在很大程度上取决于应用程序数据和使用的模型。我们的研究结果鼓励未来在开发 AIOps 解决方案方面的研究和实践,以关注他们的数据拆分决策,以处理数据泄漏和概念漂移挑战。使用基于时间的训练和验证数据集拆分可以显着减少此类数据泄漏,使其比在 AIOps 上下文中使用随机拆分更合适。其次,我们表明 AIOps 解决方案存在概念漂移。定期更新 AIOps 模型有助于减轻这种概念漂移的影响,而提高更新频率的性能优势和建模成本在很大程度上取决于应用程序数据和使用的模型。我们的研究结果鼓励未来在开发 AIOps 解决方案方面的研究和实践,以关注他们的数据拆分决策,以处理数据泄漏和概念漂移挑战。使用基于时间的训练和验证数据集拆分可以显着减少此类数据泄漏,使其比在 AIOps 上下文中使用随机拆分更合适。其次,我们表明 AIOps 解决方案存在概念漂移。定期更新 AIOps 模型有助于减轻这种概念漂移的影响,而提高更新频率的性能优势和建模成本在很大程度上取决于应用程序数据和使用的模型。我们的研究结果鼓励未来在开发 AIOps 解决方案方面的研究和实践,以关注他们的数据拆分决策,以处理数据泄漏和概念漂移挑战。定期更新 AIOps 模型有助于减轻这种概念漂移的影响,而提高更新频率的性能优势和建模成本在很大程度上取决于应用程序数据和使用的模型。我们的研究结果鼓励未来在开发 AIOps 解决方案方面的研究和实践,以关注他们的数据拆分决策,以处理数据泄漏和概念漂移挑战。定期更新 AIOps 模型有助于减轻这种概念漂移的影响,而提高更新频率的性能优势和建模成本在很大程度上取决于应用程序数据和使用的模型。我们的研究结果鼓励未来在开发 AIOps 解决方案方面的研究和实践,以关注他们的数据拆分决策,以处理数据泄漏和概念漂移挑战。
更新日期:2021-07-23
down
wechat
bug