In this paper, we examine how sparsifying input to a time-delay neural network (TDNN) can significantly improve the learning time and accuracy of the TDNN for time series data. The sparsifying of input is done through a sparse transform input layer. Many applications that involve prediction or forecasting of the state of a dynamic system can be formulated as a time series forecasting problem. Here, the task is to forecast some state variable, which is represented as a time series in applications such as weather forecasting, energy consumption prediction or predicting future state of a moving object. While there are many tools for time-delay forecasting, TDNNs have recently received more attention. We show that through applying a sparsifying input transform layer to the TDNN, we can considerably improve the learning time and accuracy. Through analyzing the learning process, we demonstrate the mathematical reasons for this improvement. Experiments with several datasets are used to show the improvement and the reason behind it. We use data from national weather forecast datasets, vehicle speed time series and synthetic data. Several different sparse representations are evaluated including principal component analysis (PCA), discrete cosine transform (DCT) and a mixture of DCT and Haar transforms. It is observed that the higher sparsity leads to better performance. The relative simplicity of TDNNs, compared with deep networks, and the use of sparse transforms for quicker learning open up possibilities for online learning in small embedded devices that do not have powerful computing capabilities.

在本文中，我们研究了稀疏输入到时延神经网络（TDNN）可以如何显着改善时间序列数据的学习时间和TDNN的准确性。通过稀疏变换输入层来完成输入的稀疏化。可以将涉及动态系统状态的预测或预测的许多应用程序表述为时间序列预测问题。在此，任务是预测一些状态变量，该状态变量在诸如天气预报，能耗预测或预测运动对象的未来状态等应用中表示为时间序列。尽管有许多用于时间延迟预测的工具，但TDNN最近受到了更多关注。我们表明，通过将稀疏输入变换层应用于TDNN，我们可以大大提高学习时间和准确性。通过分析学习过程，我们证明了这种改进的数学原因。通过使用多个数据集进行的实验来显示改进之处以及其背后的原因。我们使用来自国家天气预报数据集，车速时间序列和综合数据的数据。评估了几种不同的稀疏表示形式，包括主成分分析（PCA），离散余弦变换（DCT）以及DCT和Haar变换的混合。可以看出，稀疏度越高，性能越好。与深度网络相比，TDNN的相对简单性，以及稀疏转换的使用，可以更快地学习，从而为没有强大计算能力的小型嵌入式设备提供了在线学习的可能性。我们证明了这种改进的数学原因。通过使用多个数据集进行的实验来显示改进之处以及其背后的原因。我们使用来自国家天气预报数据集，车速时间序列和综合数据的数据。评估了几种不同的稀疏表示形式，包括主成分分析（PCA），离散余弦变换（DCT）以及DCT和Haar变换的混合。可以看出，稀疏度越高，性能越好。与深度网络相比，TDNN的相对简单性，以及稀疏转换的使用，可以更快地学习，从而为没有强大计算能力的小型嵌入式设备提供了在线学习的可能性。我们证明了这种改进的数学原因。通过使用多个数据集进行的实验来显示改进之处以及其背后的原因。我们使用来自国家天气预报数据集，车速时间序列和综合数据的数据。评估了几种不同的稀疏表示形式，包括主成分分析（PCA），离散余弦变换（DCT）以及DCT和Haar变换的混合。可以看出，稀疏度越高，性能越好。与深度网络相比，TDNN的相对简单性，以及稀疏转换的使用，可以更快地学习，从而为没有强大计算能力的小型嵌入式设备提供了在线学习的可能性。我们使用来自国家天气预报数据集，车速时间序列和综合数据的数据。评估了几种不同的稀疏表示形式，包括主成分分析（PCA），离散余弦变换（DCT）以及DCT和Haar变换的混合。可以看出，稀疏度越高，性能越好。与深度网络相比，TDNN相对简单，并且使用稀疏变换来更快地学习，为没有强大计算能力的小型嵌入式设备提供了在线学习的可能性。我们使用来自国家天气预报数据集，车速时间序列和综合数据的数据。评估了几种不同的稀疏表示形式，包括主成分分析（PCA），离散余弦变换（DCT）以及DCT和Haar变换的混合。可以看出，稀疏度越高，性能越好。与深度网络相比，TDNN的相对简单性，以及稀疏转换的使用，可以更快地学习，从而为没有强大计算能力的小型嵌入式设备提供了在线学习的可能性。可以看出，稀疏度越高，性能越好。与深度网络相比，TDNN的相对简单性，以及稀疏转换的使用，可以更快地学习，从而为没有强大计算能力的小型嵌入式设备提供了在线学习的可能性。可以看出，稀疏度越高，性能越好。与深度网络相比，TDNN的相对简单性，以及稀疏转换的使用，可以更快地学习，从而为没有强大计算能力的小型嵌入式设备提供了在线学习的可能性。