Portable Document Format (PDF) is a file format used for document exchange and supports cross-platform use. Therefore, most PDF files with embedded malicious scripts can be widely distributed and executed. Many researchers use machine learning models to analyze structural features extracted from PDF files. However, most detection models are vulnerable to adversarial samples, so attackers can evade detection through Adversarial Machine Learning (AML). Although several methods already exist for generating adversarial PDF files, many of these cannot precisely control the process of generating samples, and neglect the number of requests issued to the target detector, which is a potential limitation in real scenarios. In this paper, we propose a deep reinforcement learning (DRL)-based attack framework to evade malicious PDF files detection. Motivated by the reward mechanism, the reinforcement learning agent will construct adversarial samples by continuously manipulating malicious PDF files, and eventually automate the process of evading detection under the given constraints. Different from adversarial learning which is used in most studies, a DRL-based defense strategy is proposed to confront this attack. This strategy collects adversarial samples to train a new detector, which in turn is used by defenders to guide a new agent to recover the original feature vectors of malicious PDF files. Experimental results show that the attack framework is of great significance for hiding malicious features, and the defense strategy can effectively mitigate the threat posed by this type of attack.

可移植文档格式 (PDF) 是一种用于文档交换并支持跨平台使用的文件格式。因此，大多数嵌入恶意脚本的PDF文件都可以广泛传播和执行。许多研究人员使用机器学习模型来分析从 PDF 文件中提取的结构特征。然而，大多数检测模型都容易受到对抗性样本的攻击，因此攻击者可以通过对抗性机器学习 (AML) 来逃避检测。尽管已经存在多种生成对抗性 PDF 文件的方法，但其中许多方法无法精确控制生成样本的过程，并且忽略了向目标检测器发出的请求数量，这在实际场景中是一个潜在的限制。在本文中，我们提出了一种基于深度强化学习 (DRL) 的攻击框架来逃避恶意 PDF 文件检测。在奖励机制的激励下，强化学习代理将通过不断操纵恶意 PDF 文件来构建对抗样本，并最终在给定约束下自动完成逃避检测的过程。与大多数研究中使用的对抗性学习不同，提出了一种基于 DRL 的防御策略来应对这种攻击。该策略收集对抗性样本来训练新的检测器，防御者反过来使用该检测器来指导新的代理恢复恶意 PDF 文件的原始特征向量。实验结果表明，该攻击框架对于隐藏恶意特征具有重要意义，防御策略能够有效缓解此类攻击带来的威胁。强化学习代理将通过不断操纵恶意 PDF 文件来构建对抗样本，并最终在给定约束下自动完成逃避检测的过程。与大多数研究中使用的对抗性学习不同，提出了一种基于 DRL 的防御策略来应对这种攻击。该策略收集对抗性样本来训练新的检测器，防御者反过来使用该检测器来指导新的代理恢复恶意 PDF 文件的原始特征向量。实验结果表明，该攻击框架对于隐藏恶意特征具有重要意义，防御策略能够有效缓解此类攻击带来的威胁。强化学习代理将通过不断操纵恶意 PDF 文件来构建对抗样本，并最终在给定约束下自动完成逃避检测的过程。与大多数研究中使用的对抗性学习不同，提出了一种基于 DRL 的防御策略来应对这种攻击。该策略收集对抗性样本来训练新的检测器，防御者反过来使用该检测器来指导新的代理恢复恶意 PDF 文件的原始特征向量。实验结果表明，该攻击框架对于隐藏恶意特征具有重要意义，防御策略能够有效缓解此类攻击带来的威胁。与大多数研究中使用的对抗性学习不同，提出了一种基于 DRL 的防御策略来应对这种攻击。该策略收集对抗性样本来训练新的检测器，防御者反过来使用该检测器来指导新的代理恢复恶意 PDF 文件的原始特征向量。实验结果表明，该攻击框架对于隐藏恶意特征具有重要意义，防御策略能够有效缓解此类攻击带来的威胁。与大多数研究中使用的对抗性学习不同，提出了一种基于 DRL 的防御策略来应对这种攻击。该策略收集对抗性样本来训练新的检测器，防御者反过来使用该检测器来指导新的代理恢复恶意 PDF 文件的原始特征向量。实验结果表明，该攻击框架对于隐藏恶意特征具有重要意义，防御策略能够有效缓解此类攻击带来的威胁。