Computing derivatives of tensor expressions, also known as tensor calculus, is a fundamental task in machine learning. A key concern is the efficiency of evaluating the expressions and their derivatives that hinges on the representation of these expressions. Recently, an algorithm for computing higher order derivatives of tensor expressions like Jacobians or Hessians has been introduced that is a few orders of magnitude faster than previous state-of-the-art approaches. Unfortunately, the approach is based on Ricci notation and hence cannot be incorporated into automatic differentiation frameworks from deep learning like TensorFlow, PyTorch, autograd, or JAX that use the simpler Einstein notation. This leaves two options, to either change the underlying tensor representation in these frameworks or to develop a new, provably correct algorithm based on Einstein notation. Obviously, the first option is impractical. Hence, we pursue the second option. Here, we show that using Ricci notation is not necessary for an efficient tensor calculus and develop an equally efficient method for the simpler Einstein notation. It turns out that turning to Einstein notation enables further improvements that lead to even better efficiency. The methods that are described in this paper have been implemented in the online tool www.MatrixCalculus.org for computing derivatives of matrix and tensor expressions. An extended abstract of this paper appeared as "A Simple and Efficient Tensor Calculus", AAAI 2020.

中文翻译：

---

一种用于机器学习的简单有效的张量演算

计算张量表达式的导数，也称为张量微积分，是机器学习中的一项基本任务。一个关键问题是评估取决于这些表达式的表示的表达式及其派生词的效率。最近，已经引入了一种用于计算张量表达式（如 Jacobian 或 Hessians）的高阶导数的算法，该算法比以前最先进的方法快几个数量级。不幸的是，该方法基于 Ricci 符号，因此无法合并到深度学习的自动微分框架中，如使用更简单的爱因斯坦符号的 TensorFlow、PyTorch、autograd 或 JAX。这留下了两个选择，要么改变这些框架中的底层张量表示，要么开发一个新的，基于爱因斯坦符号的可证明正确的算法。显然，第一种选择是不切实际的。因此，我们采取第二种方案。在这里，我们表明使用 Ricci 表示法对于有效的张量微积分不是必要的，并为更简单的爱因斯坦表示法开发了一种同样有效的方法。事实证明，转向爱因斯坦符号可以进一步改进，从而提高效率。本文中描述的方法已在用于计算矩阵和张量表达式的导数的在线工具 www.MatrixCalculus.org 中实现。这篇论文的扩展摘要出现在 AAAI 2020 上的“A Simple and Efficient Tensor Calculus”。我们表明，对于有效的张量微积分，使用 Ricci 表示法不是必需的，并为更简单的爱因斯坦表示法开发了一种同样有效的方法。事实证明，转向爱因斯坦符号可以进一步改进，从而提高效率。本文中描述的方法已在用于计算矩阵和张量表达式的导数的在线工具 www.MatrixCalculus.org 中实现。这篇论文的扩展摘要出现在 AAAI 2020 上的“A Simple and Efficient Tensor Calculus”。我们表明，对于有效的张量微积分，使用 Ricci 表示法不是必需的，并为更简单的爱因斯坦表示法开发了一种同样有效的方法。事实证明，转向爱因斯坦符号可以进一步改进，从而提高效率。本文中描述的方法已在用于计算矩阵和张量表达式的导数的在线工具 www.MatrixCalculus.org 中实现。这篇论文的扩展摘要出现在 AAAI 2020 上的“A Simple and Efficient Tensor Calculus”。MatrixCalculus.org 用于计算矩阵和张量表达式的导数。这篇论文的扩展摘要出现在 AAAI 2020 上的“A Simple and Efficient Tensor Calculus”。MatrixCalculus.org 用于计算矩阵和张量表达式的导数。这篇论文的扩展摘要出现在 AAAI 2020 上的“A Simple and Efficient Tensor Calculus”。