Software product line (SPL) engineering allows the derivation of products tailored to stakeholders’ needs through the setting of a large number of configuration options. Unfortunately, options and their interactions create a huge configuration space which is either intractable or too costly to explore exhaustively. Instead of covering all products, machine learning (ML) approximates the set of acceptable products (e.g., successful builds, passing tests) out of a training set (a sample of configurations). However, ML techniques can make prediction errors yielding non-acceptable products wasting time, energy and other resources. We apply adversarial machine learning techniques to the world of SPLs and craft new configurations faking to be acceptable configurations but that are not and vice-versa. It allows to diagnose prediction errors and take appropriate actions. We develop two adversarial configuration generators on top of state-of-the-art attack algorithms and capable of synthesizing configurations that are both adversarial and conform to logical constraints. We empirically assess our generators within two case studies: an industrial video synthesizer (MOTIV) and an industry-strength, open-source Web-app configurator (JHipster). For the two cases, our attacks yield (up to) a 100% misclassification rate without sacrificing the logical validity of adversarial configurations. This work lays the foundations of a quality assurance framework for ML-based SPLs.

中文翻译：

---

为软件产品线生成对抗性配置的实证评估

软件产品线 (SPL) 工程允许通过设置大量配置选项来衍生出适合利益相关者需求的产品。不幸的是，选项及其交互创造了一个巨大的配置空间，要么难以处理，要么成本太高而无法进行详尽的探索。机器学习 (ML) 不是涵盖所有产品，而是从训练集（配置样本）中近似出可接受的产品集（例如，成功构建、通过测试）。但是，机器学习技术可能会导致预测错误，从而产生不可接受的产品，从而浪费时间、精力和其他资源。我们将对抗性机器学习技术应用于 SPL 世界，并制作新的配置，伪装成可接受的配置，但事实并非如此，反之亦然。它允许诊断预测错误并采取适当的措施。我们在最先进的攻击算法之上开发了两个对抗性配置生成器，并且能够合成既具有对抗性又符合逻辑约束的配置。我们在两个案例研究中凭经验评估我们的生成器：工业视频合成器 (MOTIV) 和行业实力的开源 Web 应用程序配置器 (JHipster)。对于这两种情况，我们的攻击在不牺牲对抗性配置的逻辑有效性的情况下产生（高达）100% 的错误分类率。这项工作为基于 ML 的 SPL 的质量保证框架奠定了基础。我们在最先进的攻击算法之上开发了两个对抗性配置生成器，并且能够合成既具有对抗性又符合逻辑约束的配置。我们在两个案例研究中凭经验评估我们的生成器：工业视频合成器 (MOTIV) 和行业实力的开源 Web 应用程序配置器 (JHipster)。对于这两种情况，我们的攻击在不牺牲对抗性配置的逻辑有效性的情况下产生（高达）100% 的错误分类率。这项工作为基于 ML 的 SPL 的质量保证框架奠定了基础。我们在最先进的攻击算法之上开发了两个对抗性配置生成器，并且能够合成既具有对抗性又符合逻辑约束的配置。我们在两个案例研究中凭经验评估我们的生成器：工业视频合成器 (MOTIV) 和行业实力的开源 Web 应用程序配置器 (JHipster)。对于这两种情况，我们的攻击在不牺牲对抗性配置的逻辑有效性的情况下产生（高达）100% 的错误分类率。这项工作为基于 ML 的 SPL 的质量保证框架奠定了基础。我们的攻击在不牺牲对抗性配置的逻辑有效性的情况下产生（高达）100% 的错误分类率。这项工作为基于 ML 的 SPL 的质量保证框架奠定了基础。我们的攻击在不牺牲对抗性配置的逻辑有效性的情况下产生（高达）100% 的错误分类率。这项工作为基于 ML 的 SPL 的质量保证框架奠定了基础。