Feature construction can substantially improve the accuracy of Machine Learning (ML) algorithms. Genetic Programming (GP) has been proven to be effective at this task by evolving non-linear combinations of input features. GP additionally has the potential to improve ML explainability since explicit expressions are evolved. Yet, in most GP works the complexity of evolved features is not explicitly bound or minimized though this is arguably key for explainability. In this article, we assess to what extent GP still performs favorably at feature construction when constructing features that are (1) Of small-enough number, to enable visualization of the behavior of the ML model; (2) Of small-enough size, to enable interpretability of the features themselves; (3) Of sufficient informative power, to retain or even improve the performance of the ML algorithm. We consider a simple feature construction scheme using three different GP algorithms, as well as random search, to evolve features for five ML algorithms, including support vector machines and random forest. Our results on 21 datasets pertaining to classification and regression problems show that constructing only two compact features can be sufficient to rival the use of the entire original feature set. We further find that a modern GP algorithm, GP-GOMEA, performs best overall. These results, combined with examples that we provide of readable constructed features and of 2D visualizations of ML behavior, lead us to positively conclude that GP-based feature construction still works well when explicitly searching for compact features, making it extremely helpful to explain ML models.

特征构造可以大大提高机器学习（ML）算法的准确性。通过改进输入特征的非线性组合，事实证明遗传编程（GP）在此任务上是有效的。由于显式表达式的发展，GP还具有改善ML解释性的潜力。但是，在大多数GP作品中，尽管可以说这是可解释性的关键，但并未明确限制或最小化已发展功能的复杂性。在本文中，我们评估在构造以下特征时GP在特征构造上仍能发挥多大的作用：（1）数量少，以使ML模型的行为可视化；（2）足够小，以使特征本身具有可解释性；（3）具有足够的信息能力，保留甚至改善ML算法的性能。我们考虑使用三种不同的GP算法以及随机搜索的简单特征构建方案，以为包括支持向量机和随机森林在内的五种ML算法发展特征。我们对与分类和回归问题有关的21个数据集的结果表明，仅构造两个紧凑特征就足以与整个原始特征集的使用相媲美。我们进一步发现，现代GP算法GP-GOMEA总体上表现最佳。这些结果，再加上我们提供的可读的构造特征和ML行为的2D可视化示例，使我们得出肯定的结论，即基于GP的特征构造在明确搜索紧凑特征时仍然可以很好地工作，这对解释ML模型非常有帮助。 。我们考虑使用三种不同的GP算法以及随机搜索的简单特征构建方案，以为包括支持向量机和随机森林在内的五种ML算法发展特征。我们对与分类和回归问题有关的21个数据集的结果表明，仅构造两个紧凑特征就足以与整个原始特征集的使用相媲美。我们进一步发现，现代GP算法GP-GOMEA总体上表现最佳。这些结果，再加上我们提供的可读的构造特征和ML行为的2D可视化示例，使我们得出肯定的结论，即基于GP的特征构造在明确搜索紧凑特征时仍然可以很好地工作，这对解释ML模型非常有帮助。 。我们考虑使用三种不同的GP算法以及随机搜索的简单特征构建方案，以为包括支持向量机和随机森林在内的五种ML算法发展特征。我们对与分类和回归问题有关的21个数据集的结果表明，仅构造两个紧凑特征就足以与整个原始特征集的使用相媲美。我们进一步发现，现代GP算法GP-GOMEA总体上表现最佳。这些结果，再加上我们提供的可读的构造特征和ML行为的2D可视化示例，使我们得出肯定的结论，即基于GP的特征构造在明确搜索紧凑特征时仍然可以很好地工作，这对解释ML模型非常有帮助。 。