当前位置:
X-MOL 学术
›
arXiv.cs.LG
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning
arXiv - CS - Machine Learning Pub Date : 2020-06-30 , DOI: arxiv-2006.16442 Sirisha Rambhatla, Xingguo Li, Jarvis Haupt
arXiv - CS - Machine Learning Pub Date : 2020-06-30 , DOI: arxiv-2006.16442 Sirisha Rambhatla, Xingguo Li, Jarvis Haupt
We consider the problem of factorizing a structured 3-way tensor into its
constituent Canonical Polyadic (CP) factors. This decomposition, which can be
viewed as a generalization of singular value decomposition (SVD) for tensors,
reveals how the tensor dimensions (features) interact with each other. However,
since the factors are a priori unknown, the corresponding optimization problems
are inherently non-convex. The existing guaranteed algorithms which handle this
non-convexity incur an irreducible error (bias), and only apply to cases where
all factors have the same structure. To this end, we develop a provable
algorithm for online structured tensor factorization, wherein one of the
factors obeys some incoherence conditions, and the others are sparse.
Specifically we show that, under some relatively mild conditions on
initialization, rank, and sparsity, our algorithm recovers the factors exactly
(up to scaling and permutation) at a linear rate. Complementary to our
theoretical results, our synthetic and real-world data evaluations showcase
superior performance compared to related techniques. Moreover, its scalability
and ability to learn on-the-fly makes it suitable for real-world tasks.
中文翻译:
通过字典学习对结构化张量进行可证明的在线 CP/PARAFAC 分解
我们考虑将结构化的 3 向张量分解为其组成的典型多元 (CP) 因子的问题。这种分解可以看作是张量奇异值分解 (SVD) 的推广,揭示了张量维度(特征)如何相互作用。然而,由于这些因素是先验未知的,相应的优化问题本质上是非凸的。处理这种非凸性的现有保证算法会产生不可约的误差(偏差),并且仅适用于所有因素具有相同结构的情况。为此,我们开发了一种可证明的在线结构化张量分解算法,其中一个因子服从一些不相干条件,而其他因子是稀疏的。具体来说,我们表明,在一些相对温和的初始化条件下,排名,和稀疏性,我们的算法以线性速率精确地恢复因子(直到缩放和排列)。与我们的理论结果相辅相成,我们的合成和真实世界数据评估显示出与相关技术相比的卓越性能。此外,它的可扩展性和即时学习能力使其适用于现实世界的任务。
更新日期:2020-07-01
中文翻译:
通过字典学习对结构化张量进行可证明的在线 CP/PARAFAC 分解
我们考虑将结构化的 3 向张量分解为其组成的典型多元 (CP) 因子的问题。这种分解可以看作是张量奇异值分解 (SVD) 的推广,揭示了张量维度(特征)如何相互作用。然而,由于这些因素是先验未知的,相应的优化问题本质上是非凸的。处理这种非凸性的现有保证算法会产生不可约的误差(偏差),并且仅适用于所有因素具有相同结构的情况。为此,我们开发了一种可证明的在线结构化张量分解算法,其中一个因子服从一些不相干条件,而其他因子是稀疏的。具体来说,我们表明,在一些相对温和的初始化条件下,排名,和稀疏性,我们的算法以线性速率精确地恢复因子(直到缩放和排列)。与我们的理论结果相辅相成,我们的合成和真实世界数据评估显示出与相关技术相比的卓越性能。此外,它的可扩展性和即时学习能力使其适用于现实世界的任务。