Click-through rate (CTR) prediction models are common in many online applications such as digital advertising and recommender systems. Field-Aware Factorization Machine (FFM) and Field-weighted Factorization Machine (FwFM) are state-of-the-art among the shallow models for CTR prediction. Recently, many deep learning-based models have also been proposed. Among deeper models, DeepFM, xDeepFM, AutoInt+, and FiBiNet are state-of-the-art models. The deeper models combine a core architectural component, which learns explicit feature interactions, with a deep neural network (DNN) component. We propose a novel shallow Field-Embedded Factorization Machine (FEFM) and its deep counterpart Deep Field-Embedded Factorization Machine (DeepFEFM). FEFM learns symmetric matrix embeddings for each field pair along with the usual single vector embeddings for each feature. FEFM has significantly lower model complexity than FFM and roughly the same complexity as FwFM. FEFM also has insightful mathematical properties about important fields and field interactions. DeepFEFM combines the FEFM interaction vectors learned by the FEFM component with a DNN and is thus able to learn higher order interactions. We conducted comprehensive experiments over a wide range of hyperparameters on two large publicly available real-world datasets. When comparing test AUC and log loss, the results show that FEFM and DeepFEFM outperform the existing state-of-the-art shallow and deep models for CTR prediction tasks.

中文翻译：

---

用于点击率预测的现场嵌入因子分解机

点击率 (CTR) 预测模型在许多在线应用程序中很常见，例如数字广告和推荐系统。Field-Aware Factorization Machine (FFM) 和 Field-weighted Factorization Machine (FwFM) 在 CTR 预测的浅层模型中是最先进的。最近，还提出了许多基于深度学习的模型。在更深的模型中，DeepFM、xDeepFM、AutoInt+ 和 FiBiNet 是最先进的模型。更深层次的模型将学习显式特征交互的核心架构组件与深度神经网络 (DNN) 组件相结合。我们提出了一种新颖的浅场嵌入分解机（FEFM）及其对应的深场嵌入分解机（DeepFEFM）。FEFM 学习每个字段对的对称矩阵嵌入以及每个特征的常用单向量嵌入。FEFM 的模型复杂度明显低于 FFM，与 FwFM 的复杂度大致相同。FEFM 还具有关于重要场和场相互作用的深刻数学特性。DeepFEFM 将 FEFM 组件学习的 FEFM 交互向量与 DNN 相结合，因此能够学习更高阶的交互。我们在两个大型公开可用的真实世界数据集上对各种超参数进行了全面的实验。在比较测试 AUC 和对数损失时，结果表明 FEFM 和 DeepFEFM 在 CTR 预测任务方面优于现有最先进的浅层和深层模型。FEFM 还具有关于重要场和场相互作用的深刻数学特性。DeepFEFM 将 FEFM 组件学习的 FEFM 交互向量与 DNN 相结合，因此能够学习更高阶的交互。我们在两个大型公开可用的真实世界数据集上对各种超参数进行了全面的实验。在比较测试 AUC 和对数损失时，结果表明 FEFM 和 DeepFEFM 在 CTR 预测任务方面优于现有最先进的浅层和深层模型。FEFM 还具有关于重要场和场相互作用的深刻数学特性。DeepFEFM 将 FEFM 组件学习的 FEFM 交互向量与 DNN 相结合，因此能够学习更高阶的交互。我们在两个大型公开可用的真实世界数据集上对各种超参数进行了全面的实验。在比较测试 AUC 和对数损失时，结果表明 FEFM 和 DeepFEFM 在 CTR 预测任务方面优于现有最先进的浅层和深层模型。我们在两个大型公开可用的真实世界数据集上对各种超参数进行了全面的实验。在比较测试 AUC 和对数损失时，结果表明 FEFM 和 DeepFEFM 在 CTR 预测任务方面优于现有最先进的浅层和深层模型。我们在两个大型公开可用的真实世界数据集上对各种超参数进行了全面的实验。在比较测试 AUC 和对数损失时，结果表明 FEFM 和 DeepFEFM 在 CTR 预测任务方面优于现有最先进的浅层和深层模型。