We study the problem of variable selection for linear models under the high-dimensional asymptotic setting, where the number of observations $n$ grows at the same rate as the number of predictors $p$. We consider two-stage variable selection techniques (TVS) in which the first stage uses bridge estimators to obtain an estimate of the regression coefficients, and the second stage simply thresholds this estimate to select the “important” predictors. The asymptotic false discovery proportion ($\operatorname{AFDP}$) and true positive proportion (ATPP) of these TVS are evaluated. We prove that for a fixed ATPP, in order to obtain a smaller $\operatorname{AFDP}$, one should pick a bridge estimator with smaller asymptotic mean square error in the first stage of TVS. Based on such principled discovery, we present a sharp comparison of different TVS, via an in-depth investigation of the estimation properties of bridge estimators. Rather than “orderwise” error bounds with loose constants, our analysis focuses on precise error characterization. Various interesting signal-to-noise ratio and sparsity settings are studied. Our results offer new and thorough insights into high-dimensional variable selection. For instance, we prove that a TVS with Ridge in its first stage outperforms TVS with other bridge estimators in large noise settings; two-stage LASSO becomes inferior when the signal is rare and weak. As a by-product, we show that two-stage methods outperform some standard variable selection techniques, such as $\operatorname{LASSO}$ and Sure Independence Screening, under certain conditions.

中文翻译：

---

哪个桥估计器最适合变量选择？

我们研究了在高维渐近设置下线性模型的变量选择问题，其中观测值$ n $的增长速度与预测变量$ p $的增长速度相同。我们考虑两阶段变量选择技术（TVS），其中第一阶段使用桥估计器来获得回归系数的估计，而第二阶段只是对该估计值进行阈值选择，以选择“重要”预测器。评估这些TVS的渐近虚假发现比例（$ \ operatorname {AFDP} $）和真实正比例（ATPP）。我们证明，对于固定的ATPP，为了获得较小的$ \ operatorname {AFDP} $，应该在TVS的第一阶段选择具有较小渐进均方误差的桥估计。基于这种有原则的发现，我们对不同的TVS进行了比较，通过对桥梁估算器估算属性的深入研究。我们的分析不是专注于具有松散常数的“有序”误差范围，而是着眼于精确的误差表征。研究了各种有趣的信噪比和稀疏性设置。我们的结果为高维变量选择提供了新的透彻见解。例如，我们证明，在大噪声环境下，采用Ridge技术的TVS在其第一阶段的性能优于采用其他桥梁估算器的TVS。当信号稀少且微弱时，两级LASSO会变差。作为副产品，我们证明了在某些条件下，两阶​​段方法优于某些标准变量选择技术，例如$ \ operatorname {LASSO} $和Sure独立筛选。我们的分析不是专注于具有松散常数的“有序”误差范围，而是着眼于精确的误差表征。研究了各种有趣的信噪比和稀疏性设置。我们的结果为高维变量选择提供了新的透彻见解。例如，我们证明，在大噪声环境下，采用Ridge技术的TVS在其第一阶段的性能优于采用其他桥梁估算器的TVS。当信号稀少且微弱时，两级LASSO会变差。作为副产品，我们证明了在某些条件下，两阶​​段方法优于某些标准变量选择技术，例如$ \ operatorname {LASSO} $和Sure独立筛选。我们的分析不是专注于具有松散常数的“有序”误差范围，而是着眼于精确的误差表征。研究了各种有趣的信噪比和稀疏性设置。我们的结果为高维变量选择提供了新的透彻见解。例如，我们证明，在大噪声环境下，采用Ridge技术的TVS在其第一阶段的性能优于采用其他桥梁估算器的TVS。当信号稀少且微弱时，两级LASSO会变差。作为副产品，我们证明了在某些条件下，两阶​​段方法优于某些标准变量选择技术，例如$ \ operatorname {LASSO} $和Sure独立筛选。我们的结果为高维变量选择提供了新的透彻见解。例如，我们证明，在大噪声环境下，采用Ridge技术的TVS在其第一阶段的性能优于采用其他桥梁估算器的TVS。当信号稀少且微弱时，两级LASSO会变差。作为副产品，我们证明了在某些条件下，两阶​​段方法优于某些标准变量选择技术，例如$ \ operatorname {LASSO} $和Sure独立筛选。我们的结果为高维变量选择提供了新的透彻见解。例如，我们证明，在大噪声环境下，采用Ridge技术的TVS在其第一阶段的性能优于采用其他桥梁估算器的TVS。当信号稀少且微弱时，两级LASSO会变差。作为副产品，我们证明了在某些条件下，两阶​​段方法优于某些标准变量选择技术，例如$ \ operatorname {LASSO} $和Sure独立筛选。