Learning feature interactions is crucial for click-through rate (CTR) prediction in recommender systems. In most existing deep learning models, feature interactions are either manually designed or simply enumerated. However, enumerating all feature interactions brings large memory and computation cost. Even worse, useless interactions may introduce noise and complicate the training process. In this work, we propose a two-stage algorithm called Automatic Feature Interaction Selection (AutoFIS). AutoFIS can automatically identify important feature interactions for factorization models with computational cost just equivalent to training the target model to convergence. In the \emph{search stage}, instead of searching over a discrete set of candidate feature interactions, we relax the choices to be continuous by introducing the architecture parameters. By implementing a regularized optimizer over the architecture parameters, the model can automatically identify and remove the redundant feature interactions during the training process of the model. In the \emph{re-train stage}, we keep the architecture parameters serving as an attention unit to further boost the performance. Offline experiments on three large-scale datasets (two public benchmarks, one private) demonstrate that AutoFIS can significantly improve various FM based models. AutoFIS has been deployed onto the training platform of Huawei App Store recommendation service, where a 10-day online A/B test demonstrated that AutoFIS improved the DeepFM model by 20.3\% and 20.1\% in terms of CTR and CVR respectively.

中文翻译：

---

AutoFIS：用于点击率预测的分解模型中的自动特征交互选择

学习特征交互对于推荐系统中的点击率 (CTR) 预测至关重要。在大多数现有的深度学习模型中，特征交互要么是手动设计的，要么是简单的枚举。然而，枚举所有特征交互会带来大量的内存和计算成本。更糟糕的是，无用的交互可能会引入噪音并使训练过程复杂化。在这项工作中，我们提出了一种称为自动特征交互选择（AutoFIS）的两阶段算法。AutoFIS 可以自动识别分解模型的重要特征交互，其计算成本相当于训练目标模型收敛。在\emph{搜索阶段}，不是搜索一组离散的候选特征交互，我们通过引入架构参数将选择放宽为连续。通过对架构参数实施正则化优化器，模型可以在模型训练过程中自动识别和去除冗余特征交互。在\emph{re-train stage}，我们将架构参数作为注意力单元以进一步提高性能。三个大型数据集（两个公共基准，一个私有）的离线实验表明 AutoFIS 可以显着改进各种基于 FM 的模型。AutoFIS已经部署在华为App Store推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别将DeepFM模型提升了20.3%和20.1%。通过对架构参数实施正则化优化器，模型可以在模型训练过程中自动识别和去除冗余特征交互。在\emph{re-train stage}，我们将架构参数作为注意力单元以进一步提高性能。三个大型数据集（两个公共基准，一个私有）的离线实验表明 AutoFIS 可以显着改进各种基于 FM 的模型。AutoFIS已经部署在华为App Store推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别将DeepFM模型提升了20.3%和20.1%。通过对架构参数实施正则化优化器，模型可以在模型训练过程中自动识别和去除冗余特征交互。在\emph{re-train stage}，我们将架构参数作为注意力单元以进一步提高性能。三个大型数据集（两个公共基准，一个私有）的离线实验表明 AutoFIS 可以显着改进各种基于 FM 的模型。AutoFIS已经部署在华为App Store推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别将DeepFM模型提升了20.3%和20.1%。该模型可以在模型训练过程中自动识别并去除冗余特征交互。在\emph{re-train stage}，我们将架构参数作为注意力单元以进一步提高性能。三个大型数据集（两个公共基准，一个私有）的离线实验表明 AutoFIS 可以显着改进各种基于 FM 的模型。AutoFIS已经部署在华为App Store推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别将DeepFM模型提升了20.3%和20.1%。该模型可以在模型训练过程中自动识别并去除冗余特征交互。在\emph{re-train stage}，我们将架构参数作为注意力单元以进一步提高性能。三个大型数据集（两个公共基准，一个私有）的离线实验表明 AutoFIS 可以显着改进各种基于 FM 的模型。AutoFIS已经部署在华为App Store推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别将DeepFM模型提升了20.3%和20.1%。三个大型数据集（两个公共基准，一个私有）的离线实验表明 AutoFIS 可以显着改进各种基于 FM 的模型。AutoFIS已经部署在华为App Store推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别将DeepFM模型提升了20.3%和20.1%。三个大型数据集（两个公共基准，一个私有）的离线实验表明 AutoFIS 可以显着改进各种基于 FM 的模型。AutoFIS已经部署在华为App Store推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别将DeepFM模型提升了20.3%和20.1%。