当前位置:
X-MOL 学术
›
arXiv.cs.MS
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
AutoHOOT: Automatic High-Order Optimization for Tensors
arXiv - CS - Mathematical Software Pub Date : 2020-05-10 , DOI: arxiv-2005.04540 Linjian Ma, Jiayu Ye, Edgar Solomonik
arXiv - CS - Mathematical Software Pub Date : 2020-05-10 , DOI: arxiv-2005.04540 Linjian Ma, Jiayu Ye, Edgar Solomonik
High-order optimization methods, including Newton's method and its variants
as well as alternating minimization methods, dominate the optimization
algorithms for tensor decompositions and tensor networks. These tensor methods
are used for data analysis and simulation of quantum systems. In this work, we
introduce AutoHOOT, the first automatic differentiation (AD) framework
targeting at high-order optimization for tensor computations. AutoHOOT takes
input tensor computation expressions and generates optimized derivative
expressions. In particular, AutoHOOT contains a new explicit Jacobian / Hessian
expression generation kernel whose outputs maintain the input tensors'
granularity and are easy to optimize. The expressions are then optimized by
both the traditional compiler optimization techniques and specific tensor
algebra transformations. Experimental results show that AutoHOOT achieves
competitive performance for both tensor decomposition and tensor network
applications compared to existing AD software and other tensor computation
libraries with manually written kernels, both on CPU and GPU architectures. The
scalability of the generated kernels is as good as other well-known high-order
numerical algorithms so that it can be executed efficiently on distributed
parallel systems.
中文翻译:
AutoHOOT:张量的自动高阶优化
高阶优化方法,包括牛顿法及其变体以及交替最小化方法,在张量分解和张量网络的优化算法中占主导地位。这些张量方法用于量子系统的数据分析和模拟。在这项工作中,我们介绍了 AutoHOOT,这是第一个针对张量计算的高阶优化的自动微分 (AD) 框架。AutoHOOT 采用输入张量计算表达式并生成优化的导数表达式。特别是,AutoHOOT 包含一个新的显式 Jacobian / Hessian 表达式生成内核,其输出保持输入张量的粒度并且易于优化。然后通过传统的编译器优化技术和特定的张量代数变换来优化表达式。实验结果表明,与现有的 AD 软件和其他具有手动编写内核的张量计算库相比,AutoHOOT 在张量分解和张量网络应用程序上都实现了具有竞争力的性能,无论是在 CPU 还是 GPU 架构上。生成的内核的可扩展性与其他著名的高阶数值算法一样好,因此可以在分布式并行系统上高效执行。
更新日期:2020-05-12
中文翻译:
AutoHOOT:张量的自动高阶优化
高阶优化方法,包括牛顿法及其变体以及交替最小化方法,在张量分解和张量网络的优化算法中占主导地位。这些张量方法用于量子系统的数据分析和模拟。在这项工作中,我们介绍了 AutoHOOT,这是第一个针对张量计算的高阶优化的自动微分 (AD) 框架。AutoHOOT 采用输入张量计算表达式并生成优化的导数表达式。特别是,AutoHOOT 包含一个新的显式 Jacobian / Hessian 表达式生成内核,其输出保持输入张量的粒度并且易于优化。然后通过传统的编译器优化技术和特定的张量代数变换来优化表达式。实验结果表明,与现有的 AD 软件和其他具有手动编写内核的张量计算库相比,AutoHOOT 在张量分解和张量网络应用程序上都实现了具有竞争力的性能,无论是在 CPU 还是 GPU 架构上。生成的内核的可扩展性与其他著名的高阶数值算法一样好,因此可以在分布式并行系统上高效执行。