当前位置:
X-MOL 学术
›
arXiv.cs.NA
›
论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Randomized Algorithms for Computation of Tucker decomposition and Higher Order SVD (HOSVD)
arXiv - CS - Numerical Analysis Pub Date : 2020-01-20 , DOI: arxiv-2001.07124 Salman Ahmadi-Asl, Andrzej Cichocki, Anh Huy Phan, Ivan Oseledets, Stanislav Abukhovich, and Toshihisa Tanaka
arXiv - CS - Numerical Analysis Pub Date : 2020-01-20 , DOI: arxiv-2001.07124 Salman Ahmadi-Asl, Andrzej Cichocki, Anh Huy Phan, Ivan Oseledets, Stanislav Abukhovich, and Toshihisa Tanaka
Big data analysis has become a crucial part of new emerging technologies such
as Internet of thing (IOT), cyber-physical analysis, deep learning, anomaly
detection etc. Among many other techniques, dimensionality reduction plays a
key role in such analyses and facilitates the procedure of feature selection
and feature extraction. Randomized algorithms are efficient tools for handling
big data tensors. They accelerate decomposing large-scale data tensors by
reducing the computational complexity of deterministic algorithms and also
reducing the communication among different levels of memory hierarchy which is
a main bottleneck in modern computing environments and architectures. In this
paper, we review recent advances in randomization for computation of Tucker
decomposition and Higher Order SVD (HOSVD). We discuss both random projection
and sampling approaches and also single-pass and multi-pass randomized
algorithms and how they can be utilized in computation of Tucker decomposition
and HOSVD. Simulations on real data including weight tensors of fully connected
layers of pretrained VGG-16 and VGG-19 deep neural networks and also CIFAR-10
and CIFAR-100 datasets are provided to compare performance of some of the
presented algorithms.
中文翻译:
用于计算 Tucker 分解和高阶 SVD (HOSVD) 的随机算法
大数据分析已成为物联网 (IOT)、网络物理分析、深度学习、异常检测等新兴技术的重要组成部分。在许多其他技术中,降维在此类分析中起着关键作用,并有助于特征选择和特征提取的过程。随机算法是处理大数据张量的有效工具。它们通过降低确定性算法的计算复杂度并减少不同级别内存层次结构之间的通信来加速分解大规模数据张量,这是现代计算环境和体系结构中的主要瓶颈。在本文中,我们回顾了用于计算 Tucker 分解和高阶 SVD (HOSVD) 的随机化的最新进展。我们讨论随机投影和采样方法以及单通道和多通道随机算法,以及它们如何用于计算 Tucker 分解和 HOSVD。提供了对真实数据的模拟,包括预训练的 VGG-16 和 VGG-19 深度神经网络的全连接层的权重张量以及 CIFAR-10 和 CIFAR-100 数据集,以比较一些所提出算法的性能。
更新日期:2020-09-03
中文翻译:
用于计算 Tucker 分解和高阶 SVD (HOSVD) 的随机算法
大数据分析已成为物联网 (IOT)、网络物理分析、深度学习、异常检测等新兴技术的重要组成部分。在许多其他技术中,降维在此类分析中起着关键作用,并有助于特征选择和特征提取的过程。随机算法是处理大数据张量的有效工具。它们通过降低确定性算法的计算复杂度并减少不同级别内存层次结构之间的通信来加速分解大规模数据张量,这是现代计算环境和体系结构中的主要瓶颈。在本文中,我们回顾了用于计算 Tucker 分解和高阶 SVD (HOSVD) 的随机化的最新进展。我们讨论随机投影和采样方法以及单通道和多通道随机算法,以及它们如何用于计算 Tucker 分解和 HOSVD。提供了对真实数据的模拟,包括预训练的 VGG-16 和 VGG-19 深度神经网络的全连接层的权重张量以及 CIFAR-10 和 CIFAR-100 数据集,以比较一些所提出算法的性能。