Anomalies or failures in large computer systems, such as the cloud, have an impact on a large number of users that communicate, compute, and store information. Therefore, timely and accurate anomaly detection is necessary for reliability, security, safe operation, and mitigation of losses in these increasingly important systems. Recently, the evolution of the software industry opens up several problems that need to be tackled including (1) addressing the software evolution due software upgrades, and (2) solving the cold-start problem, where data from the system of interest is not available. In this paper, we propose a framework for anomaly detection in log data, as a major troubleshooting source of system information. To that end, we utilize pre-trained general-purpose language models to preserve the semantics of log messages and map them into log vector embeddings. The key idea is that these representations for the logs are robust and less invariant to changes in the logs, and therefore, result in a better generalization of the anomaly detection models. We perform several experiments on a cloud dataset evaluating different language models for obtaining numerical log representations such as BERT, GPT-2, and XL. The robustness is evaluated by gradually altering log messages, to simulate a change in semantics. Our results show that the proposed approach achieves high performance and robustness, which opens up possibilities for future research in this direction.

中文翻译：

---

使用预训练的语言模型对日志数据进行鲁棒和可转移的异常检测

大型计算机系统（例如云）中的异常或故障会影响大量通信，计算和存储信息的用户。因此，在这些日益重要的系统中，及时，准确地进行异常检测对于可靠性，安全性，安全操作以及减轻损失至关重要。最近，软件行业的发展带来了一些需要解决的问题，其中包括：（1）解决由于软件升级而引起的软件发展；（2）解决冷启动问题，其中无法从目标系统获得数据。在本文中，我们提出了一种日志数据异常检测的框架，作为系统信息的主要故障排除来源。为此，我们利用经过预先训练的通用语言模型来保留日志消息的语义，并将其映射到日志向量嵌入中。关键思想是日志的这些表示形式是健壮的，并且对日志的变化保持不变，因此可以更好地概括异常检测模型。我们在云数据集上执行了多个实验，这些实验评估了不同的语言模型以获得数字日志表示形式，例如BERT，GPT-2和XL。通过逐步更改日志消息以模拟语义上的更改来评估鲁棒性。我们的结果表明，所提出的方法实现了高性能和鲁棒性，这为该方向的未来研究打开了可能性。关键思想是日志的这些表示形式是健壮的，并且对日志的变化保持不变，因此可以更好地概括异常检测模型。我们在云数据集上执行了多个实验，这些实验评估了不同的语言模型以获得数字日志表示形式，例如BERT，GPT-2和XL。通过逐步更改日志消息以模拟语义上的更改来评估鲁棒性。我们的结果表明，所提出的方法实现了高性能和鲁棒性，这为该方向的未来研究打开了可能性。关键思想是日志的这些表示形式是健壮的，并且对日志的变化保持不变，因此可以更好地概括异常检测模型。我们在云数据集上执行了多个实验，这些实验评估了不同的语言模型以获得数字日志表示形式，例如BERT，GPT-2和XL。通过逐步更改日志消息以模拟语义上的更改来评估鲁棒性。我们的结果表明，所提出的方法实现了高性能和鲁棒性，这为该方向的未来研究打开了可能性。通过逐步更改日志消息以模拟语义上的更改来评估鲁棒性。我们的结果表明，所提出的方法实现了高性能和鲁棒性，这为该方向的未来研究打开了可能性。通过逐步更改日志消息以模拟语义上的更改来评估鲁棒性。我们的结果表明，所提出的方法实现了高性能和鲁棒性，这为该方向的未来研究打开了可能性。