The past several years have witnessed increasing research interest on covariance-based feature representation. Originally proposed as a region descriptor, it has now been used as a general representation in various recognition tasks, demonstrating promising performance. However, covariance matrix has some inherent shortcomings such as singularity in the case of small sample, limited capability in modeling complicated feature relationship, and a single, fixed form of representation. To achieve better recognition performance, this paper argues that more capable and flexible symmetric positive definite (SPD)-matrix-based representation shall be explored, and this is attempted in this work by exploiting prior knowledge of data and nonlinear representation. Specifically, to better deal with the issues of small number of feature vectors and high feature dimensionality, we propose to exploit the structure sparsity of visual features and exemplify sparse inverse covariance estimate as a new feature representation. Furthermore, to effectively model complicated feature relationship, we propose to directly compute kernel matrix over feature dimensions, leading to a robust, flexible and open framework of SPD-matrix-based representation. Through theoretical analysis and experimental study, the proposed two representations well demonstrate their advantages over the covariance counterpart in skeletal human action recognition, image set classification and object classification tasks.

中文翻译：

---

超越协方差：基于 SICE 和内核的视觉特征表示

在过去的几年中，人们对基于协方差的特征表示的研究兴趣日益浓厚。最初被提出作为区域描述符，它现在已被用作各种识别任务中的一般表示，表现出良好的性能。然而，协方差矩阵存在一些固有的缺点，如小样本情况下的奇异性、对复杂特征关系建模的能力有限、表示形式单一、固定等。为了获得更好的识别性能，本文认为应该探索更强大和灵活的基于对称正定（SPD）矩阵的表示，并且在这项工作中通过利用数据和非线性表示的先验知识来尝试这一点。具体来说，为了更好地处理特征向量数量少和特征维数高的问题，我们建议利用视觉特征的结构稀疏性，并将稀疏逆协方差估计作为一种新的特征表示。此外，为了有效地对复杂的特征关系建模，我们建议直接计算特征维度上的核矩阵，从而形成一个健壮、灵活和开放的基于 SPD 矩阵的表示框架。通过理论分析和实验研究，所提出的两种表示在骨骼人体动作识别、图像集分类和对象分类任务中很好地证明了它们优于协方差对应物的优势。我们建议利用视觉特征的结构稀疏性，并将稀疏逆协方差估计作为新的特征表示。此外，为了有效地对复杂的特征关系建模，我们建议直接计算特征维度上的核矩阵，从而形成一个健壮、灵活和开放的基于 SPD 矩阵的表示框架。通过理论分析和实验研究，所提出的两种表示在骨骼人体动作识别、图像集分类和对象分类任务中很好地证明了它们优于协方差对应物的优势。我们建议利用视觉特征的结构稀疏性，并将稀疏逆协方差估计作为新的特征表示。此外，为了有效地对复杂的特征关系建模，我们建议直接计算特征维度上的核矩阵，从而形成一个健壮、灵活和开放的基于 SPD 矩阵的表示框架。通过理论分析和实验研究，所提出的两种表示在骨骼人体动作识别、图像集分类和对象分类任务中很好地证明了它们优于协方差对应物的优势。