当前位置: X-MOL 学术Future Gener. Comput. Syst. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
LogNADS: Network anomaly detection scheme based on log semantics representation
Future Generation Computer Systems ( IF 6.2 ) Pub Date : 2021-05-24 , DOI: 10.1016/j.future.2021.05.024
Xu Liu , Weiyou Liu , Xiaoqiang Di , Jinqing Li , Binbin Cai , Weiwu Ren , Huamin Yang

Semantics-aware anomaly detection based on log has attracted much attention. However, the existing methods based on the weighted aggregation of all word vectors might lose the semantic relationship of word order and cannot maintain the unique representation, and the methods based on word order-preserving by concatenating all word vectors might lead to a high computation time cost. To solve these issues and further improve the sequential anomaly detection, this paper proposes a network anomaly detection scheme LogNADS by designing a novel log semantics representation method and an adaptive sequence data construction method. It first discards the useless words and then selects theme words to hold the log abstraction and maintain a low time cost as well. Subsequently, it concatenates theme words’ vectors based on the original word order to maintain the unique representation and avoid the word order loss. Furthermore, to better detect the sequential anomalies, we utilize the sliding window scheme and design a method to compute the optimal window size for constructing the log sequence self-adaptively, and then LSTM is built to extract timing characteristics of the log sequences. Experimental results conducted on the public benchmark HDFS dataset and BGL dataset demonstrate the effectiveness of LogNADS through comparing with other state-of-the-art methods in the detection accuracy and time cost. Moreover, the statistical significance tests prove the superior performance.



中文翻译:

LogNADS:基于日志语义表示的网络异常检测方案

基于日志的语义感知异常检测备受关注。然而,现有的基于所有词向量加权聚合的方法可能会失去词序的语义关系,无法保持唯一的表示,而基于词序保留的所有词向量连接的方法可能会导致计算时间长成本。为了解决这些问题,进一步改进序列异常检测,本文通过设计一种新颖的日志语义表示方法和自适应序列数据构建方法,提出了网络异常检测方案LogNADS。它首先丢弃无用的词,然后选择主题词来保存日志抽象并保持较低的时间成本。随后,它根据原始词序连接主题词的向量,以保持唯一表示并避免词序丢失。此外,为了更好地检测序列异常,我们利用滑动窗口方案并设计了一种方法来计算自适应构建日志序列的最佳窗口大小,然后构建 LSTM 来提取日志序列的时序特征。在公共基准 HDFS 数据集和 BGL 数据集上进行的实验结果通过与其他最先进方法在检测精度和时间成本方面的比较,证明了 LogNADS 的有效性。此外,统计显着性检验证明了优越的性能。我们利用滑动窗口方案并设计了一种方法来计算自适应构建日志序列的最佳窗口大小,然后构建LSTM来提取日志序列的时序特征。在公共基准 HDFS 数据集和 BGL 数据集上进行的实验结果通过与其他最先进方法在检测精度和时间成本方面的比较,证明了 LogNADS 的有效性。此外,统计显着性检验证明了优越的性能。我们利用滑动窗口方案并设计了一种方法来计算自适应构建日志序列的最佳窗口大小,然后构建LSTM来提取日志序列的时序特征。在公共基准 HDFS 数据集和 BGL 数据集上进行的实验结果通过与其他最先进方法在检测精度和时间成本方面的比较,证明了 LogNADS 的有效性。此外,统计显着性检验证明了优越的性能。在公共基准 HDFS 数据集和 BGL 数据集上进行的实验结果通过与其他最先进方法在检测精度和时间成本方面的比较,证明了 LogNADS 的有效性。此外,统计显着性检验证明了优越的性能。在公共基准 HDFS 数据集和 BGL 数据集上进行的实验结果通过与其他最先进方法在检测精度和时间成本方面的比较,证明了 LogNADS 的有效性。此外,统计显着性检验证明了优越的性能。

更新日期:2021-06-22
down
wechat
bug