The demand of probabilistic time series forecasting has been recently raised in various dynamic system scenarios, for example, system identification and prognostic and health management of machines. To this end, we combine the advances in both deep generative models and state space model (SSM) to come up with a novel, data-driven deep probabilistic sequence model. Specially, we follow the popular encoder-decoder generative structure to build the recurrent neural networks (RNN) assisted variational sequence model on an augmented recurrent input space, which could induce rich stochastic sequence dependency. Besides, in order to alleviate the issue of inconsistency between training and predicting as well as improving the mining of dynamic patterns, we (i) propose using a hybrid output as input at next time step, which brings training and predicting into alignment; and (ii) further devise a generalized auto-regressive strategy that encodes all the historical dependencies at current time step. Thereafter, we first investigate the methodological characteristics of the proposed deep probabilistic sequence model on toy cases, and then comprehensively demonstrate the superiority of our model against existing deep probabilistic SSM models through extensive numerical experiments on eight system identification benchmarks from various dynamic systems. Finally, we apply our sequence model to a real-world centrifugal compressor sensor data forecasting problem, and again verify its outstanding performance by quantifying the time series predictive distribution.

中文翻译：

---

使用动态系统的增强循环输入进行深度概率时间序列预测

最近在各种动态系统场景中提出了概率时间序列预测的需求，例如系统识别和机器的预测和健康管理。为此，我们结合了深度生成模型和状态空间模型 (SSM) 的进步，提出了一种新颖的、数据驱动的深度概率序列模型。特别地，我们遵循流行的编码器 - 解码器生成结构在增强的循环输入空间上构建循环神经网络（RNN）辅助变分序列模型，这可以诱导丰富的随机序列依赖性。此外，为了缓解训练和预测之间的不一致问题以及改进动态模式的挖掘，我们（i）建议在下一时间步使用混合输出作为输入，将训练和预测结合起来；(ii) 进一步设计一种广义自回归策略，该策略对当前时间步长的所有历史依赖项进行编码。此后，我们首先研究了所提出的玩具箱深度概率序列模型的方法学特征，然后通过对来自各种动态系统的八个系统识别基准的广泛数值实验，全面证明了我们的模型相对于现有深度概率 SSM 模型的优越性。最后，我们将我们的序列模型应用于真实世界的离心压缩机传感器数据预测问题，并通过量化时间序列预测分布再次验证其出色的性能。(ii) 进一步设计一种广义自回归策略，该策略对当前时间步长的所有历史依赖项进行编码。此后，我们首先研究了所提出的玩具箱深度概率序列模型的方法学特征，然后通过对来自各种动态系统的八个系统识别基准的广泛数值实验，全面证明了我们的模型相对于现有深度概率 SSM 模型的优越性。最后，我们将我们的序列模型应用于真实世界的离心压缩机传感器数据预测问题，并通过量化时间序列预测分布再次验证其出色的性能。(ii) 进一步设计一种广义自回归策略，该策略对当前时间步长的所有历史依赖项进行编码。此后，我们首先研究了所提出的玩具箱深度概率序列模型的方法学特征，然后通过对来自各种动态系统的八个系统识别基准的广泛数值实验，全面证明了我们的模型相对于现有深度概率 SSM 模型的优越性。最后，我们将我们的序列模型应用于真实世界的离心压缩机传感器数据预测问题，并通过量化时间序列预测分布再次验证其出色的性能。我们首先在玩具箱上研究了所提出的深度概率序列模型的方法学特征，然后通过对来自各种动态系统的八个系统识别基准的广泛数值实验，全面证明了我们的模型相对于现有深度概率 SSM 模型的优越性。最后，我们将我们的序列模型应用于真实世界的离心压缩机传感器数据预测问题，并通过量化时间序列预测分布再次验证其出色的性能。我们首先在玩具箱上研究了所提出的深度概率序列模型的方法学特征，然后通过对来自各种动态系统的八个系统识别基准的广泛数值实验，全面证明了我们的模型相对于现有深度概率 SSM 模型的优越性。最后，我们将我们的序列模型应用于真实世界的离心压缩机传感器数据预测问题，并通过量化时间序列预测分布再次验证其出色的性能。