Abstract

For multivariate nonparametric regression, functional analysis of variance (ANOVA) modeling aims to capture the relationship between a response and covariates by decomposing the unknown function into various components, representing main effects, two-way interactions, etc. Such an approach has been pursued explicitly in smoothing spline ANOVA modeling and implicitly in various greedy methods such as MARS. We develop a new method for functional ANOVA modeling, based on doubly penalized estimation using total-variation and empirical-norm penalties, to achieve sparse selection of component functions and their basis functions. For this purpose, we formulate a new class of hierarchical total variations, which measures total variations at different levels including main effects and multi-way interactions, possibly after some order of differentiation. Furthermore, we derive suitable basis functions for multivariate splines such that the hierarchical total variation can be represented as a regular Lasso penalty, and hence we extend a previous backfitting algorithm to handle doubly penalized estimation for ANOVA modeling. We present extensive numerical experiments on simulations and real data to compare our method with existing methods including MARS, tree boosting, and random forest. The results are very encouraging and demonstrate notable gains from our method in prediction or classification accuracy and simplicity of the fitted functions. Supplementary materials for this article are available online.

摘要

对于多元非参数回归，方差函数分析 (ANOVA) 建模旨在通过将未知函数分解为各种分量、表示主效应、双向交互等来捕获响应和协变量之间的关系。这种方法已经明确地追求在平滑样条方差分析建模中，隐含在各种贪婪方法中，例如 MARS。我们开发了一种新的函数方差分析建模方法，基于使用总变异和经验范数惩罚的双重惩罚估计，以实现对分量函数及其基函数的稀疏选择。为此，我们制定了一类新的分层总变差，它测量不同级别的总变差，包括主效应和多向交互，可能在某种区分顺序之后。此外，我们为多元样条推导了合适的基函数，这样分层总变化可以表示为常规的套索惩罚，因此我们扩展了先前的反拟合算法来处理方差分析建模的双重惩罚估计。我们对模拟和真实数据进行了广泛的数值实验，以将我们的方法与现有方法（包括 MARS、树提升和随机森林）进行比较。结果非常令人鼓舞，并表明我们的方法在预测或分类准确性和拟合函数的简单性方面取得了显着收益。本文的补充材料可在线获取。因此，我们扩展了先前的反拟合算法来处理方差分析建模的双重惩罚估计。我们对模拟和真实数据进行了广泛的数值实验，以将我们的方法与现有方法（包括 MARS、树提升和随机森林）进行比较。结果非常令人鼓舞，并表明我们的方法在预测或分类准确性和拟合函数的简单性方面取得了显着收益。本文的补充材料可在线获取。因此，我们扩展了先前的反拟合算法来处理方差分析建模的双重惩罚估计。我们对模拟和真实数据进行了广泛的数值实验，以将我们的方法与现有方法（包括 MARS、树提升和随机森林）进行比较。结果非常令人鼓舞，并表明我们的方法在预测或分类准确性和拟合函数的简单性方面取得了显着收益。本文的补充材料可在线获取。结果非常令人鼓舞，并表明我们的方法在预测或分类准确性和拟合函数的简单性方面取得了显着收益。本文的补充材料可在线获取。结果非常令人鼓舞，并表明我们的方法在预测或分类准确性和拟合函数的简单性方面取得了显着收益。本文的补充材料可在线获取。