Abstract. In this paper, the performance of three machine-learning methods for predicting short-term evolution and for reproducing the long-term statistics of a multiscale spatiotemporal Lorenz 96 system is examined. The methods are an echo state network (ESN, which is a type of reservoir computing; hereafter RC–ESN), a deep feed-forward artificial neural network (ANN), and a recurrent neural network (RNN) with long short-term memory (LSTM; hereafter RNN–LSTM). This Lorenz 96 system has three tiers of nonlinearly interacting variables representing slow/large-scale ( X ), intermediate ( Y ), and fast/small-scale ( Z ) processes. For training or testing, only X is available; Y and Z are never known or used. We show that RC–ESN substantially outperforms ANN and RNN–LSTM for short-term predictions, e.g., accurately forecasting the chaotic trajectories for hundreds of numerical solver's time steps equivalent to several Lyapunov timescales. The RNN–LSTM outperforms ANN, and both methods show some prediction skills too. Furthermore, even after losing the trajectory, data predicted by RC–ESN and RNN–LSTM have probability density functions (pdf's) that closely match the true pdf – even at the tails. The pdf of the data predicted using ANN, however, deviates from the true pdf. Implications, caveats, and applications to data-driven and data-assisted surrogate modeling of complex nonlinear dynamical systems, such as weather and climate, are discussed.

中文翻译：

---

使用机器学习方法对多尺度 Lorenz 96 混沌系统进行数据驱动预测：储层计算、人工神经网络和长短期记忆网络

摘要。在本文中，研究了三种机器学习方法在预测短期演化和重现多尺度时空 Lorenz 96 系统的长期统计数据方面的性能。这些方法是回声状态网络（ESN，它是一种储层计算；以下称为 RC-ESN）、深度前馈人工神经网络 (ANN) 和具有长短期记忆的循环神经网络 (RNN) （LSTM；以下称为 RNN-LSTM）。这个 Lorenz 96 系统具有三层非线性交互变量，代表慢/大规模 ( X )、中间 ( Y ) 和快速/小规模 ( Z ) 过程。对于训练或测试，只有 X 可用；Y 和 Z 永远不会被知道或使用。我们表明 RC-ESN 在短期预测方面明显优于 ANN 和 RNN-LSTM，例如，准确预测相当于几个李雅普诺夫时间尺度的数百个数值求解器的时间步长的混沌轨迹。RNN-LSTM 优于 ANN，并且这两种方法也显示出一些预测技巧。此外，即使在丢失轨迹之后，RC-ESN 和 RNN-LSTM 预测的数据也具有与真实 pdf 非常匹配的概率密度函数 (pdf)——即使在尾部。然而，使用 ANN 预测的数据的 pdf 与真实的 pdf 有所不同。讨论了对复杂非线性动力系统（如天气和气候）的数据驱动和数据辅助代理建模的影响、警告和应用。即使在丢失轨迹之后，RC-ESN 和 RNN-LSTM 预测的数据也具有与真实 pdf 非常匹配的概率密度函数 (pdf)——即使在尾部。然而，使用 ANN 预测的数据的 pdf 与真实的 pdf 有所不同。讨论了对复杂非线性动力系统（如天气和气候）的数据驱动和数据辅助代理建模的影响、警告和应用。即使在丢失轨迹之后，RC-ESN 和 RNN-LSTM 预测的数据也具有与真实 pdf 非常匹配的概率密度函数 (pdf)——即使在尾部。然而，使用 ANN 预测的数据的 pdf 与真实的 pdf 有所不同。讨论了对复杂非线性动力系统（如天气和气候）的数据驱动和数据辅助代理建模的影响、警告和应用。