Feature hashing and other random projection schemes are commonly used to reduce the dimensionality of feature vectors. The goal is to efficiently project a high-dimensional feature vector living in $\mathbb{R}^n$ into a much lower-dimensional space $\mathbb{R}^m$, while approximately preserving Euclidean norm. These schemes can be constructed using sparse random projections, for example using a sparse Johnson-Lindenstrauss (JL) transform. A line of work introduced by Weinberger et. al (ICML '09) analyzes the accuracy of sparse JL with sparsity 1 on feature vectors with small $\ell_\infty$-to-$\ell_2$ norm ratio. Recently, Freksen, Kamma, and Larsen (NeurIPS '18) closed this line of work by proving a tight tradeoff between $\ell_\infty$-to-$\ell_2$ norm ratio and accuracy for sparse JL with sparsity $1$. In this paper, we demonstrate the benefits of using sparsity $s$ greater than $1$ in sparse JL on feature vectors. Our main result is a tight tradeoff between $\ell_\infty$-to-$\ell_2$ norm ratio and accuracy for a general sparsity $s$, that significantly generalizes the result of Freksen et. al. Our result theoretically demonstrates that sparse JL with $s > 1$ can have significantly better norm-preservation properties on feature vectors than sparse JL with $s = 1$; we also empirically demonstrate this finding.

中文翻译：

---

了解用于特征散列的稀疏 JL

特征散列和其他随机投影方案通常用于降低特征向量的维数。目标是将 $\mathbb{R}^n$ 中的高维特征向量有效地投影到一个低得多的空间 $\mathbb{R}^m$ 中，同时近似保留欧几里德范数。这些方案可以使用稀疏随机投影构建，例如使用稀疏 Johnson-Lindenstrauss (JL) 变换。Weinberger 等人介绍的一系列工作。al (ICML '09) 分析了稀疏度为 1 的稀疏 JL 在具有小 $\ell_\infty$-to-$\ell_2$ 范数比的特征向量上的准确性。最近，Freksen、Kamma 和 Larsen（NeurIPS '18）通过证明 $\ell_\infty$-to-$\ell_2$ 范数比和稀疏 JL 的精度与稀疏性 $1$ 之间的紧密权衡来结束这一工作。在本文中，我们展示了在特征向量的稀疏 JL 中使用大于 $1$ 的稀疏 $s$ 的好处。我们的主要结果是 $\ell_\infty$-to-$\ell_2$ 范数比和一般稀疏性 $s$ 的准确性之间的紧密权衡，这显着概括了 Freksen 等人的结果。阿尔。我们的结果理论上表明，$s > 1$ 的稀疏 JL 可以比 $s = 1$ 的稀疏 JL 在特征向量上具有明显更好的范数保留特性；我们还凭经验证明了这一发现。与$s = 1$ 的稀疏JL 相比，1$ 可以在特征向量上具有明显更好的范数保留特性；我们还凭经验证明了这一发现。与$s = 1$ 的稀疏JL 相比，1$ 可以在特征向量上具有明显更好的范数保留特性；我们还凭经验证明了这一发现。