As the malware research field became more established over the last two decades, new research questions arose, such as how to make malware research reproducible, how to bring scientific rigor to attack papers, or what is an appropriate malware dataset for relevant experimental results. The challenges these questions pose also brings pitfalls that affect the multiple malware research stakeholders. To help answering those questions and to highlight potential research pitfalls to be avoided, in this paper, we present a systematic literature review of 491 papers on malware research published in major security conferences between 2000 and 2018. We identified the most common pitfalls present in past literature and propose a method for assessing current (and future) malware research. Our goal is towards integrating science and engineering best practices to develop further, improved research by learning from issues present in the published body of work. As far as we know, this is the largest literature review of its kind and the first to summarize research pitfalls in a research methodology that avoids them. In total, we discovered 20 pitfalls that limit current research impact and reproducibility. The identified pitfalls range from (i) the lack of a proper threat model, that complicates paper’s evaluation, to (ii) the use of closed-source solutions and private datasets, that limit reproducibility. We also report yet-to-be-overcome challenges that are inherent to the malware nature, such as non-deterministic analysis results. Based on our findings, we propose a set of actions to be taken by the malware research and development community for future work: (i) Consolidation of malware research as a field constituted of diverse research approaches (e.g., engineering solutions, offensive research, landscapes/observational studies, and network traffic/system traces analysis); (ii) design of engineering solutions with clearer, direct assumptions (e.g., positioning solutions as proofs-of-concept vs. deployable); (iii) design of experiments that reflects (and emphasizes) the target scenario for the proposed solution (e.g., corporation, user, country-wide); (iv) clearer exposition and discussion of limitations of used technologies and exercised norms/standards for research (e.g., the use of closed-source antiviruses as ground-truth).

在过去的二十年中，随着恶意软件研究领域的日益成熟，出现了新的研究问题，例如如何使恶意软件研究具有可重复性，如何使科学严谨性成为攻击论文的基础，或者什么是适合相关实验结果的恶意软件数据集。这些问题带来的挑战也带来了影响多个恶意软件研究利益相关者的陷阱。为帮助回答这些问题并强调需要避免的潜在研究陷阱，在本文中，我们对2000年至2018年间在主要安全会议上发表的491篇有关恶意软件研究的论文进行了系统的文献综述。我们确定了过去最常见的陷阱文献并提出一种评估当前（和将来）恶意软件研究的方法。我们的目标是通过学习已发表的论文中存在的问题，整合科学和工程学的最佳实践，以进一步开展改进的研究。据我们所知，这是同类文献中最大的文献综述，也是第一个在避免这种情况的研究方法中总结研究陷阱的方法。总共，我们发现了20个陷阱，这些陷阱限制了当前研究的影响力和可重复性。所确定的陷阱包括：（i）缺乏适当的威胁模型，使论文的评估​​复杂化；（ii）使用封闭源解决方案和私有数据集，从而限制了可重复性。我们还报告了恶意软件本质所固有的尚待克服的挑战，例如不确定性分析结果。根据我们的发现，我们建议恶意软件研究和开发社区为未来的工作采取一系列行动：（i）将恶意软件研究整合为由多种研究方法（例如，工程解决方案，攻击性研究，景观/观测研究以及网络流量/系统跟踪分析）；（ii）设计具有更明确，直接假设的工程解决方案（例如，将解决方案定位为概念验证与可部署的对比）；（iii）设计反映（并强调）拟议解决方案目标方案的实验（例如，公司，用户，全国范围）；（iv）更加清晰地阐述和讨论所使用技术的限制以及研究中所采用的规范/标准（例如，使用封闭源防病毒作为事实）。（i）将恶意软件研究整合为由多种研究方法（例如，工程解决方案，攻击性研究，景观/观测研究以及网络流量/系统痕迹分析）组成的领域；（ii）设计具有更明确，直接假设的工程解决方案（例如，将解决方案定位为概念验证与可部署的对比）；（iii）设计反映（并强调）拟议解决方案目标方案的实验（例如，公司，用户，全国范围）；（iv）更加清晰地阐述和讨论所使用技术的限制以及研究中所采用的规范/标准（例如，使用封闭源防病毒作为事实）。（i）将恶意软件研究整合为由多种研究方法（例如，工程解决方案，攻击性研究，景观/观测研究以及网络流量/系统痕迹分析）组成的领域；（ii）设计具有更明确，直接假设的工程解决方案（例如，将解决方案定位为概念验证与可部署的对比）；（iii）设计反映（并强调）拟议解决方案目标方案的实验（例如，公司，用户，全国范围）；（iv）更加清晰地阐述和讨论所使用技术的限制以及研究中所采用的规范/标准（例如，使用封闭源防病毒作为事实）。以及网络流量/系统跟踪分析）；（ii）设计具有更明确，直接假设的工程解决方案（例如，将解决方案定位为概念验证与可部署的对比）；（iii）设计反映（并强调）拟议解决方案目标方案的实验（例如，公司，用户，全国范围）；（iv）更加清晰地阐述和讨论所使用技术的限制以及研究中所采用的规范/标准（例如，使用封闭源防病毒作为事实）。以及网络流量/系统跟踪分析）；（ii）设计具有更明确，直接假设的工程解决方案（例如，将解决方案定位为概念验证与可部署的对比）；（iii）设计反映（并强调）拟议解决方案目标方案的实验（例如，公司，用户，全国范围）；（iv）更加清晰地阐述和讨论所使用技术的限制以及研究中所采用的规范/标准（例如，使用封闭源杀毒软件作为事实）。