This paper provides a new avenue for exploiting deep neural networks to improve physics-based simulation. Specifically, we integrate the classic Lagrangian mechanics with a deep autoencoder to accelerate elastic simulation of deformable solids. Due to the inertia effect, the dynamic equilibrium cannot be established without evaluating the second-order derivatives of the deep autoencoder network. This is beyond the capability of off-the-shelf automatic differentiation packages and algorithms, which mainly focus on the gradient evaluation. Solving the nonlinear force equilibrium is even more challenging if the standard Newton's method is to be used. This is because we need to compute a third-order derivative of the network to obtain the variational Hessian. We attack those difficulties by exploiting complex-step finite difference, coupled with reverse automatic differentiation. This strategy allows us to enjoy the convenience and accuracy of complex-step finite difference and in the meantime, to deploy complex-value perturbations as collectively as possible to save excessive network passes. With a GPU-based implementation, we are able to wield deep autoencoders (e.g., $10+$ layers) with a relatively high-dimension latent space in real-time. Along this pipeline, we also design a sampling network and a weighting network to enable \emph{weight-varying} Cubature integration in order to incorporate nonlinearity in the model reduction. We believe this work will inspire and benefit future research efforts in nonlinearly reduced physical simulation problems.

中文翻译：

---

用于非线性模型约简的高阶可微自编码器

本文为利用深度神经网络改善基于物理的仿真提供了新途径。具体来说，我们将经典的拉格朗日力学与深度自动编码器集成在一起，以加速可变形固体的弹性模拟。由于惯性效应，不评估深层自动编码器网络的二阶导数就无法建立动态平衡。这超出了现成的自动微分程序包和算法的能力，后者主要侧重于梯度评估。如果要使用标准的牛顿法，则解决非线性力平衡将更具挑战性。这是因为我们需要计算网络的三阶导数以获得变分Hessian。我们通过利用复步有限差分来解决这些困难，加上反向自动微分。这种策略使我们可以享受复步有限差分的便利性和准确性，同时可以尽可能集中地部署复数值扰动，以节省过多的网络通行时间。通过基于GPU的实现，我们能够实时使用具有较高维潜在空间的深层自动编码器（例如$ 10 + $层）。沿着这个管道，我们还设计了一个采样网络和一个加权网络，以实现\ emph {weight-variying} Cubature集成，以便将非线性纳入模型简化中。我们相信这项工作将启发并有益于非线性减少的物理模拟问题的未来研究工作。这种策略使我们可以享受复步有限差分的便利性和准确性，同时可以尽可能集中地部署复数值扰动，以节省过多的网络通行时间。通过基于GPU的实现，我们能够实时使用具有较高维潜在空间的深层自动编码器（例如$ 10 + $层）。沿着这个管道，我们还设计了一个采样网络和一个加权网络，以实现\ emph {weight-variying} Cubature集成，以便将非线性纳入模型简化中。我们相信这项工作将启发并有益于非线性减少的物理模拟问题的未来研究工作。这种策略使我们可以享受复步有限差分的便利性和准确性，同时可以尽可能集中地部署复数值扰动，以节省过多的网络通行时间。通过基于GPU的实现，我们能够实时使用具有较高维潜在空间的深层自动编码器（例如$ 10 + $层）。沿着这个管道，我们还设计了一个采样网络和一个加权网络，以实现\ emph {weight-variying} Cubature集成，以便将非线性纳入模型简化中。我们相信这项工作将启发并有益于非线性减少的物理模拟问题的未来研究工作。我们能够实时使用具有较高维度潜在空间的深层自动编码器（例如$ 10 + $层）。沿着这个管道，我们还设计了一个采样网络和一个加权网络，以实现\ emph {weight-variying} Cubature集成，以便将非线性纳入模型简化中。我们相信这项工作将启发并有益于非线性减少的物理模拟问题的未来研究工作。我们能够实时使用具有较高维度潜在空间的深层自动编码器（例如$ 10 + $层）。沿着这个管道，我们还设计了一个采样网络和一个加权网络，以实现\ emph {weight-variying} Cubature集成，以便将非线性纳入模型简化中。我们相信这项工作将启发并有益于非线性减少的物理模拟问题的未来研究工作。