Multi-stage attack is a kind of sophisticated intrusion strategy that has been widely used for penetrating the well protected network infrastructures. To detect such attacks, state-of-the-art research advocates the use of hidden markov model (HMM). However, despite the HMM can model the relationships and dependencies among different alerts and stages for detection, they cannot handle well the stage dependencies buried in a longer sequence of alerts. In this paper, we tackle the challenge of the stages’ long-term dependency and propose a new detection solution using a sequence-to-sequence (seq2seq) model. The basic idea is to encode a sequence of alerts (i.e., detector’s observation) into a latent feature vector using a long-short term memory (LSTM) network and then decode this vector to a sequence of predicted attacking stages with another LSTM. By the encoder-decoder collaboration, we can decouple the local constraint between the observed alerts and the potential attacking stages, and thus able to take the full knowledge of all the alerts for the detection of stages in a sequence basis. By the LSTM, we can learn to “forget” irrelevant alerts and thereby have more opportunities to “remember” the long-term dependency between different stages for our sequence detection. To evaluate our model’s effectiveness, we have conducted extensive experiments using four public datasets, all of which include simulated or re-constructed samples of real-world multi-stage attacks in controlled testbeds. Our results have successfully confirmed the better detection performance of our model compared with the previous HMM solutions.

多阶段攻击是一种复杂的入侵策略，已广泛用于渗透保护良好的网络基础结构。为了检测到此类攻击，最新的研究提倡使用隐马尔可夫模型（HMM）。但是，尽管HMM可以对不同警报和阶段之间的关系和相关性进行建模以进行检测，但是它们无法很好地处理较长警报序列中埋藏的阶段相关性。在本文中，我们解决了阶段长期依赖的挑战，并提出了一种使用序列到序列（seq2seq）模型的新检测解决方案。基本思想是使用长期短期记忆（LSTM）网络将警报序列（即探测器的观察结果）编码为潜在特征向量，然后使用另一个LSTM将该向量解码为一系列预测的攻击阶段。通过编码器/解码器的协作，我们可以将观察到的警报与潜在攻击阶段之间的局部约束解耦，从而能够充分利用所有警报的知识来按顺序检测阶段。通过LSTM，我们可以学习“忘记”不相关的警报，从而有更多的机会“记住”序列检测不同阶段之间的长期依赖性。为了评估模型的有效性，我们使用四个公共数据集进行了广泛的实验，所有这些数据集都包括在受控测试台中模拟或重构的真实世界多阶段攻击的样本。我们的结果已成功证实，与以前的HMM解决方案相比，我们的模型具有更好的检测性能。我们可以将观察到的警报与潜在攻击阶段之间的局部约束解耦，从而能够充分利用所有警报的知识来按顺序检测各个阶段。通过LSTM，我们可以学习“忘记”不相关的警报，从而有更多的机会“记住”序列检测不同阶段之间的长期依赖性。为了评估模型的有效性，我们使用四个公共数据集进行了广泛的实验，所有这些数据集都包括在受控测试台中模拟或重构的真实世界多阶段攻击的样本。我们的结果已成功证实，与以前的HMM解决方案相比，我们的模型具有更好的检测性能。我们可以将观察到的警报与潜在攻击阶段之间的局部约束解耦，从而能够充分利用所有警报的知识来按顺序检测各个阶段。通过LSTM，我们可以学习“忘记”不相关的警报，从而有更多的机会“记住”序列检测不同阶段之间的长期依赖性。为了评估模型的有效性，我们使用四个公共数据集进行了广泛的实验，所有这些数据集都包括在受控测试台中模拟或重构的真实世界多阶段攻击的样本。我们的结果已成功证实，与以前的HMM解决方案相比，我们的模型具有更好的检测性能。因此能够充分利用所有警报的知识，以便按顺序检测阶段。通过LSTM，我们可以学习“忘记”不相关的警报，从而有更多的机会“记住”序列检测不同阶段之间的长期依赖性。为了评估模型的有效性，我们使用四个公共数据集进行了广泛的实验，所有这些数据集都包括在受控测试台中模拟或重构的真实世界多阶段攻击的样本。我们的结果已成功证实，与以前的HMM解决方案相比，我们的模型具有更好的检测性能。因此能够充分利用所有警报的知识，以便按顺序检测阶段。通过LSTM，我们可以学习“忘记”不相关的警报，从而有更多的机会“记住”序列检测不同阶段之间的长期依赖性。为了评估模型的有效性，我们使用四个公共数据集进行了广泛的实验，所有这些数据集都包括在受控测试台中模拟或重构的真实世界多阶段攻击的样本。我们的结果已成功证实，与以前的HMM解决方案相比，我们的模型具有更好的检测性能。我们可以学习“忘记”不相关的警报，从而有更多机会“记住”序列检测中不同阶段之间的长期依赖性。为了评估模型的有效性，我们使用四个公共数据集进行了广泛的实验，所有这些数据集都包括在受控测试台中模拟或重构的真实世界多阶段攻击的样本。我们的结果已成功证实，与以前的HMM解决方案相比，我们的模型具有更好的检测性能。我们可以学习“忘记”不相关的警报，从而有更多机会“记住”序列检测中不同阶段之间的长期依赖性。为了评估模型的有效性，我们使用四个公共数据集进行了广泛的实验，所有这些数据集都包括在受控测试台中模拟或重构的真实世界多阶段攻击的样本。我们的结果已成功证实，与以前的HMM解决方案相比，我们的模型具有更好的检测性能。