We investigate two important properties of M-estimator, namely, robustness and tractability, in linear regression setting, when the observations are contaminated by some arbitrary outliers. Specifically, robustness means the statistical property that the estimator should always be close to the underlying true parameters {\em regardless of the distribution of the outliers}, and tractability indicates the computational property that the estimator can be computed efficiently, even if the objective function of the M-estimator is {\em non-convex}. In this article, by learning the landscape of the empirical risk, we show that under mild conditions, many M-estimators enjoy nice robustness and tractability properties simultaneously, when the percentage of outliers is small. We further extend our analysis to the high-dimensional setting, where the number of parameters is greater than the number of samples, $p \gg n$, and prove that when the proportion of outliers is small, the penalized M-estimators with {\em $L_1$} penalty will enjoy robustness and tractability simultaneously. Our research provides an analytic approach to see the effects of outliers and tuning parameters on the robustness and tractability for some families of M-estimators. Simulation and case study are presented to illustrate the usefulness of our theoretical results for M-estimators under Welsch's exponential squared loss.

中文翻译：

---

非凸 M 估计器的鲁棒性和可处理性

我们在线性回归设置中研究了 M 估计器的两个重要属性，即鲁棒性和易处理性，当观测值被一些任意的异常值污染时。具体来说，鲁棒性是指估计量应该始终接近底层真实参数的统计特性{\em 不考虑异常值的分布}，易处理性表示估计量可以有效计算的计算特性，即使目标函数M-estimator 是 {\em non-convex}。在本文中，通过学习经验风险的格局，我们表明在温和条件下，当异常值的百分比很小时，许多 M 估计量同时具有良好的鲁棒性和易处理性。我们进一步将分析扩展到高维设置，其中参数个数大于样本个数$p \gg n$，并证明当异常值的比例较小时，带有{\em $L_1$}惩罚的惩罚M-estimators将享有鲁棒性和易处理性同时地。我们的研究提供了一种分析方法，可以查看异常值和调整参数对某些 M 估计量系列的稳健性和易处理性的影响。提供了模拟和案例研究，以说明我们的理论结果对 Welsch 指数平方损失下的 M 估计器的有用性。我们的研究提供了一种分析方法，可以查看异常值和调整参数对某些 M 估计器系列的稳健性和易处理性的影响。提供了模拟和案例研究，以说明我们的理论结果对 Welsch 指数平方损失下的 M 估计器的有用性。我们的研究提供了一种分析方法，可以查看异常值和调整参数对某些 M 估计量系列的稳健性和易处理性的影响。提供了模拟和案例研究来说明我们的理论结果对 Welsch 指数平方损失下的 M 估计器的有用性。