The conclusion in Lemma 5 in the supplementary material (SM) of Wang and Leng (2016), on which Theorems 1–3 rely, is incorrect. Here we provide an additional condition under which the conclusion of this lemma holds. We assume that the rows of the matrix X follow a Gaussian distribution with precision matrix Ω = Σ⁻¹ that satisfies $c_4^{-1}{n}^{-\tau /2}\le {\lambda }_{\text{min}}(\mathrm{\Omega })\le {\lambda }_{\text{max}}(\mathrm{\Omega })\le c_4{n}^{\tau /2}$. This implies the assumption on the condition number of Σ in Assumption A3. We drop the assumption that Σ_ii = 1 (SM, Proposition 5).

We append the assumptions in Wang and Leng (2016) with condition (C1) ${\text{max}}_{j,k\ne i}|{\mathrm{\Omega }}_{\mathit{ij}}-{\mathrm{\Omega }}_{\mathit{ik}}|\le c_0\frac{n^{5\tau /4}}{p}$ for some constant c₀ > 0 and ${\text{max}}_{j\ne k}|{\mathrm{\Omega }}_{\mathit{jj}}-{\mathrm{\Omega }}_{\mathit{kk}}|\le c_5\frac{n^{\tau /4}}{p}$ for some constant c₅ > 0. We discuss this assumption in more detail in the final paragraph. Suppose 1 − 15τ/2 − 2κ − ν = ϵ for some ϵ > 0, p ≥ c′·n^3/2 for some c′ > 0 and $\log p=o(n^{1-11\tau /2-2\kappa -\nu -\overline{ϵ}})$, where $0<\overline{ϵ}<ϵ$. Then, with probability $1-O(\exp \{-n^{1-11\tau /2-2\kappa -\nu -\overline{ϵ}}\})$, for all i ∈ S, $|e_{i}H{H}^T\beta |\ge c·\frac{n^{1-\tau -\kappa }}{p}$ and for all j ∉ S, $|e_{j}H{H}^T\beta |\le \tilde{c}·\frac{n^{1-\tau -\kappa -\overline{ϵ}/2}}{p}$ for some $(c,\tilde{c})>0$. This implies that Lemma 5 holds.

Proof: Write $H(i,j)=e_i^T{X}^T{(X{X}^T)}^{-1}X{e}_j$. As HH^T is a projection matrix, ${\sum }_{j=1}^{p}H{(i,j)}^2=H(i,i)$ and hence, ${\text{min}}_{j\ne i}|H(i,j)|\le \sqrt{H(i,i)/p}$. By Lemma 4 in Wang and Leng (2016), $H(i,i)\le c_2^{\prime }{n}^{1+\tau }/p$ with probability at least 1 − 4exp(−Cn), and using the reverse triangle inequality $\begin{array}{c}{\text{max}}_{j\ne i}|H(i,j)|={\text{min}}_{j\ne i}|H(i,j)|+{\text{max}}_{j,k\ne i}(|H(i,j)|-|H(i,k)|)\le {\text{min}}_{j\ne i}|H(i,j)|\hfill \\ +{\text{max}}_{j,k\ne i}|H(i,j)-H(i,k)|\le {(c_2^{\prime })}^{1/2}{n}^{1/2+\tau /2}/p+{\text{max}}_{j,k\ne i}|H(i,j)-H(i,k)|\hfill \end{array}$ with probability at least 1 − 4exp(−Cn). We will first show that for any C > 0 and t > 0, ${\text{max}}_{j,k\ne i}|H(i,j)-H(i,k)|=O\left(\frac{n^{1/2+9\tau /4}+n^{1/2+5\tau /4}t}{p}\right)$ with probability 1 − 9p² exp(−Cn) − 2p² exp(−t²/2).

Let ϵ denote ϵ₂ or ϵ₃. For (II) and (III), using the Woodbury identity, $x_3^T{(X{X}^T)}^{-1}ϵ=x_3^T{(X_2{X}_2^T)}^{-1}ϵ-x_3^T{(X_2{X}_2^T)}^{-1}{X}_1{(I+X_1^T{(X_2{X}_2^T)}^{-1}{X}_1)}^{-1}{X}_1^T{(X_2{X}_2^T)}^{-1}ϵ$, where the first item can be bounded by using the classical tail bound as $|x_3^T{(X_2{X}_2^T)}^{-1}ϵ|\le \sqrt{x_3^T{(X_2{X}_2^T)}^{-2}{x}_3}·{|{\mathrm{\Theta }}_{11}|}^{-1/2}t=O\left(\frac{n^{1/2+5\tau /4}}{p}·t\right)$ with probability 1 − 2 exp(−t²/2) − 5 exp(−Cn). The second item is bounded as $\begin{array}{c}{x}_3^T{(X_2{X}_2^T)}^{-1}{X}_1{(I+X_1^T{(X_2{X}_2^T)}^{-1}{X}_1)}^{-1}{X}_1^T{(X_2{X}_2^T)}^{-1}ϵ\le \hfill \\ \sqrt{x_3^T{(X_2{X}_2^T)}^{-1}{x}_3}·\sqrt{{ϵ}^T{(X_2{X}_2^T)}^{-1}ϵ}·{\lambda }_{max}\left\{X_1^T{(X_2{X}_2^T)}^{-1}{X}_1{(I+X_1^T{(X_2{X}_2^T)}^{-1}{X}_1)}^{-1}\right\}=O\left(\frac{n^{1/2+9\tau /4}}{p}\right)\hfill \end{array}$ with probability at least 1 − 4 exp(−Cn) and the last equality uses that p ≥ c′·n^3/2 for some c′ > 0. Applying a union bound, we conclude that ${\text{max}}_{j,k\ne i}|H(i,j)-H(i,k)|\le O\left(\frac{n^{1/2+9\tau /4}+n^{1/2+5\tau /4}t}{p}\right)$ with probability 1 − 9p² exp(−Cn) − 2p² exp(−t²/2).

For i ∈ S, $|e_i^{T}H{H}^T\beta |=|H(i,i){\beta }_i+{\sum }_{j\ne i}H(i,j){\beta }_j|\ge c_1^{-1}{c}_2\frac{n^{1-\tau -\kappa }}{p}-{\text{max}}_{i\ne j}|H(i,j)|\sqrt{s}\Vert \beta \Vert$ with probability at least 1 − 4 exp(−Cn). Under Assumption A3 and using the previously established result on ${\text{max}}_{i\ne j}|H(i,j)|$, the second term is negligible compared to the first when 1 − 15τ/2 − 2κ − ν = ϵ for some ϵ > 0, and t = n^α with $\alpha =1/2-11\tau /4-\kappa -\nu /2-\overline{ϵ}/2>0$ where $0<\overline{ϵ}<ϵ$. If log p = o(n^2α), then for all i ∈ S, $|e_{i}H{H}^T\beta |\ge c\frac{n^{1-\tau -\kappa }}{p}$ for some c > 0 with probability 1 − O( exp {−n^2α}). For i ∉ S, we then have $|e_i^{T}H{H}^T\beta |={\sum }_{i\ne j}H(i,j){\beta }_j\le \tilde{c}·\frac{n^{1-\tau -\kappa -\overline{ϵ}/2}}{p}$ for some $\tilde{c}>0$ with the same probability. This concludes the proof.

Condition (C1) rules out the general covariance structure stated in the paper, but it helps to explain why HOLP works well for the numerical examples in the paper. In particular, (C1) holds for the examples in 4.1.1 (independent predictors) and 4.1.2 (equicorrelated predictors). Example 4.1.4 is a factor model X = FΛ^T + V, with F a random n × r matrix, E[F^TF/n] = I_r, E[V^TV/n] = cI_p for some constant c > 0, E[V^TF] = 0. If we consider Λ fixed and for simplicity assume that Λ^TΛ/p = I_r, we have $\mathrm{\Omega }=c^{-1}\left[I_p-\frac{1}{c+p}\mathrm{\Lambda }{\mathrm{\Lambda }}^T\right]$ so that (C1) holds if the elements of Λ are bounded and r is fixed. Though (C1) does not hold for the examples in 4.1.5 and 4.1.6, the variables in these examples can be partitioned into groups such that variables in the same group satisfy (C1).

定理 1-3 所依赖的 Wang 和 Leng (2016) 的补充材料 (SM) 中引理 5 中的结论是不正确的。这里我们提供了一个附加条件，在该条件下该引理的结论成立。我们假设矩阵X的行遵循高斯分布，精度矩阵 Ω = Σ ^-1满足$C_4^{——1}{n}^{——\tau /2}\le {\lambda }_{\text{分钟}}(\mathrm{\Omega })\le {\lambda }_{\text{最大限度}}(\mathrm{\Omega })\le C_4{n}^{\tau /2}$. 这意味着对假设 A3 中 Σ 的条件数的假设。我们放弃 Σ _ii  = 1（SM，命题 5）的假设。

我们将 Wang 和 Leng (2016) 中的假设附加到条件 (C1) ${\text{最大限度}}_{j,克\ne \mathrm{一世}}|{\mathrm{\Omega }}_{\mathit{ij}}——{\mathrm{\Omega }}_{\mathit{我知道}}|\le C_0\frac{n^{5\tau /4}}{磷}$对于一些常数c ₀  > 0 和${\text{最大限度}}_{j\ne 克}|{\mathrm{\Omega }}_{\mathit{jj}}——{\mathrm{\Omega }}_{\mathit{kk}}|\le C_5\frac{n^{\tau /4}}{磷}$对于一些常数c ₅  > 0。我们在最后一段更详细地讨论这个假设。假设 1 − 15 τ /2 − 2 κ  −  ν  =  ϵ对于某些ϵ  > 0，p  ≥  c ′· n ^3/2对于某些c ′ > 0 和$\mathrm{日志}磷=○(n^{1——11\tau /2——2\kappa ——\nu ——\overline{\epsilon }})$， 在哪里 $0<\overline{\epsilon }<\epsilon$. 那么，概率$1——哦(\mathrm{经验值}\{——n^{1——11\tau /2——2\kappa ——\nu ——\overline{\epsilon }}\})$, 对于所有i  ∈  S ,$|{\mathrm{电子}}_{\mathrm{一世}}H{H}^{吨}\beta |\ge C·\frac{n^{1——\tau ——\kappa }}{磷}$并且对于所有j  ∉  S，$|{\mathrm{电子}}_{j}H{H}^{吨}\beta |\le \tilde{C}·\frac{n^{1——\tau ——\kappa ——\overline{\epsilon }/2}}{磷}$ 对于一些 $(C,\tilde{C})>0$. 这意味着引理 5 成立。

证明：写 $H(\mathrm{一世},j)={\mathrm{电子}}_{\mathrm{一世}}^{吨}{X}^{吨}{(X{X}^{吨})}^{——1}X{\mathrm{电子}}_j$. 由于HH ^Ť是一个投影矩阵，${\sum }_{j=1}^{磷}H{(\mathrm{一世},j)}^2=H(\mathrm{一世},\mathrm{一世})$ 因此， ${\text{分钟}}_{j\ne \mathrm{一世}}|H(\mathrm{一世},j)|\le \sqrt{H(\mathrm{一世},\mathrm{一世})/磷}$. 作者：Wang and Leng (2016) 中的引理 4，$H(\mathrm{一世},\mathrm{一世})\le C_2^{\prime }{n}^{1+\tau }/磷$概率至少为 1 − 4exp(− Cn )，并使用反三角不等式$\begin{array}{c}{\text{最大限度}}_{j\ne \mathrm{一世}}|H(\mathrm{一世},j)|={\text{分钟}}_{j\ne \mathrm{一世}}|H(\mathrm{一世},j)|+{\text{最大限度}}_{j,克\ne \mathrm{一世}}(|H(\mathrm{一世},j)|——|H(\mathrm{一世},克)|)\le {\text{分钟}}_{j\ne \mathrm{一世}}|H(\mathrm{一世},j)|\hfill \\ +{\text{最大限度}}_{j,克\ne \mathrm{一世}}|H(\mathrm{一世},j)——H(\mathrm{一世},克)|\le {(C_2^{\prime })}^{1/2}{n}^{1/2+\tau /2}/磷+{\text{最大限度}}_{j,克\ne \mathrm{一世}}|H(\mathrm{一世},j)——H(\mathrm{一世},克)|\hfill \end{array}$概率至少为 1 − 4exp(− Cn )。我们将首先证明对于任何C  > 0 和t  > 0，${\text{最大限度}}_{j,克\ne \mathrm{一世}}|H(\mathrm{一世},j)——H(\mathrm{一世},克)|=哦\left(\frac{n^{1/2+9\tau /4}+n^{1/2+5\tau /4}吨}{磷}\right)$概率为 1 − 9 p ²  exp(− Cn ) − 2 p ²  exp(− t ² /2)。

让ϵ表示ϵ ₂或ϵ ₃。对于 ( II ) 和 ( III )，使用伍德伯里恒等式，$X_3^{吨}{(X{X}^{吨})}^{——1}\epsilon =X_3^{吨}{(X_2{X}_2^{吨})}^{——1}\epsilon ——X_3^{吨}{(X_2{X}_2^{吨})}^{——1}{X}_1{(\mathrm{一世}+X_1^{吨}{(X_2{X}_2^{吨})}^{——1}{X}_1)}^{——1}{X}_1^{吨}{(X_2{X}_2^{吨})}^{——1}\epsilon$，其中第一项可以通过使用经典尾部绑定作为 $|X_3^{吨}{(X_2{X}_2^{吨})}^{——1}\epsilon |\le \sqrt{X_3^{吨}{(X_2{X}_2^{吨})}^{——2}{X}_3}·{|{\mathrm{\Theta }}_{11}|}^{——1/2}吨=哦\left(\frac{n^{1/2+5\tau /4}}{磷}·吨\right)$概率为 1 − 2 exp(− t ² /2) − 5 exp(− Cn )。第二项的界限为$\begin{array}{c}{X}_3^{吨}{(X_2{X}_2^{吨})}^{——1}{X}_1{(\mathrm{一世}+X_1^{吨}{(X_2{X}_2^{吨})}^{——1}{X}_1)}^{——1}{X}_1^{吨}{(X_2{X}_2^{吨})}^{——1}\epsilon \le \hfill \\ \sqrt{X_3^{吨}{(X_2{X}_2^{吨})}^{——1}{X}_3}·\sqrt{{\epsilon }^{吨}{(X_2{X}_2^{吨})}^{——1}\epsilon }·{\lambda }_{最大限度}\left\{X_1^{吨}{(X_2{X}_2^{吨})}^{——1}{X}_1{(\mathrm{一世}+X_1^{吨}{(X_2{X}_2^{吨})}^{——1}{X}_1)}^{——1}\right\}=哦\left(\frac{n^{1/2+9\tau /4}}{磷}\right)\hfill \end{array}$概率至少为 1 − 4 exp(− Cn ) 并且最后一个等式使用p  ≥  c ′· n ^3/2对某些c ′ > 0。应用联合边界，我们得出结论${\text{最大限度}}_{j,克\ne \mathrm{一世}}|H(\mathrm{一世},j)——H(\mathrm{一世},克)|\le 哦\left(\frac{n^{1/2+9\tau /4}+n^{1/2+5\tau /4}吨}{磷}\right)$概率为 1 − 9 p ²  exp(− Cn ) − 2 p ²  exp(− t ² /2)。

对于i ∈ S，$|{\mathrm{电子}}_{\mathrm{一世}}^{吨}H{H}^{吨}\beta |=|H(\mathrm{一世},\mathrm{一世}){\beta }_{\mathrm{一世}}+{\sum }_{j\ne \mathrm{一世}}H(\mathrm{一世},j){\beta }_j|\ge C_1^{——1}{C}_2\frac{n^{1——\tau ——\kappa }}{磷}——{\text{最大限度}}_{\mathrm{一世}\ne j}|H(\mathrm{一世},j)|\sqrt{秒}\Vert \beta \Vert$概率至少为 1 − 4 exp(− Cn )。在假设 A3 下并使用先前确定的结果${\text{最大限度}}_{\mathrm{一世}\ne j}|H(\mathrm{一世},j)|$相比，第一，第二项可以忽略不计，当1 - 15 τ / 2 - 2 κ  -  ν  =  ε对于一些ε  > 0，和吨 =  Ñ ^α与$\alpha =1/2——11\tau /4——\kappa ——\nu /2——\overline{\epsilon }/2>0$ 在哪里 $0<\overline{\epsilon }<\epsilon$. 如果 log  p  =  o ( n ^{2 α} )，那么对于所有i ∈ S，$|{\mathrm{电子}}_{\mathrm{一世}}H{H}^{吨}\beta |\ge C\frac{n^{1——\tau ——\kappa }}{磷}$对于某些c  > 0，概率为 1 −  O ( exp {− n ^{2 α} })。对于i  ∉  S，我们有$|{\mathrm{电子}}_{\mathrm{一世}}^{吨}H{H}^{吨}\beta |={\sum }_{\mathrm{一世}\ne j}H(\mathrm{一世},j){\beta }_j\le \tilde{C}·\frac{n^{1——\tau ——\kappa ——\overline{\epsilon }/2}}{磷}$ 对于一些 $\tilde{C}>0$以相同的概率。证明到此结束。

条件（C1）排除了论文中陈述的一般协方差结构，但它有助于解释为什么 HOLP 对论文中的数值例子效果很好。特别是，（C1）适用于 4.1.1（独立预测变量）和 4.1.2（等相关预测变量）中的示例。例 4.1.4 是一个因子模型X  =  F Λ ^T  +  V，其中F是一个随机的n  ×  r矩阵，E[ F ^T F / n ] =  I _r，E[ V ^T V / n ] =  cI _p对于某些常数c > 0, E[ V ^T F ] = 0. 如果我们考虑 Λ 固定并且为简单起见假设 Λ ^T Λ/ p  =  I _r，我们有$\mathrm{\Omega }=C^{——1}\left[{\mathrm{一世}}_{磷}——\frac{1}{C+磷}\mathrm{\Lambda }{\mathrm{\Lambda }}^{吨}\right]$因此，如果 Λ 的元素有界且r是固定的，则 (C1) 成立。尽管 (C1) 不适用于 4.1.5 和 4.1.6 中的示例，但可以将这些示例中的变量划分为组，使得同一组中的变量满足 (C1)。