Time series spectral imaging facilitates a comprehensive understanding of the underlying dynamics of multi-component systems and processes. Most existing classification strategies focus exclusively on the spectral features and they tend to fail when spectra between classes closely resemble each other. This work proposes a hybrid approach of principal component analysis (PCA) and deep learning (i.e., long short-term memory (LSTM) model) for incorporating and utilizing the combined multi-temporal and spectral information from time series spectral imaging datasets. An example data, consisting of times series spectral images of casein-based biopolymers, was used to illustrate and evaluate the proposed hybrid approach. Compared to using partial least squares discriminant analysis (PLSDA), the proposed PCA-LSTM method applying the same spectral pretreatment achieved substantial improvement in the pixel-wise classification (i.e., accuracy increased from 59.97% of PLSDA to 85.73% of PCA-LSTM). When projecting the pixel-wise model to object-based classification, the PCA-LSTM approach produced an accuracy of 100%, correctly classifying the whole 21 film samples in the independent test set, while PLSDA only led to an accuracy of 80.95%. The proposed method is powerful and versatile in utilizing distinctive characteristics of time dependencies from multivariate time series dataset, which could be adapted to suit non-congruent images over time sequences as well as spectroscopic data.

中文翻译：

---

使用组合的多时间和光谱特征对时间序列光谱图像进行分类的深度学习

时间序列光谱成像有助于全面了解多组分系统和过程的潜在动力学。大多数现有的分类策略只关注光谱特征，当类别之间的光谱彼此非常相似时，它们往往会失败。这项工作提出了一种主成分分析 (PCA) 和深度学习（即长短期记忆 (LSTM) 模型）的混合方法，用于合并和利用来自时间序列光谱成像数据集的多时间和光谱信息。示例数据由基于酪蛋白的生物聚合物的时间序列光谱图像组成，用于说明和评估所提出的混合方法。与使用偏最小二乘判别分析 (PLSDA) 相比，建议的 PCA-LSTM 方法应用相同的光谱预处理实现了像素级分类的实质性改进（即准确度从 PLSDA 的 59.97% 增加到 PCA-LSTM 的 85.73%）。当将像素级模型投影到基于对象的分类时，PCA-LSTM 方法产生了 100% 的准确率，正确分类了独立测试集中的 21 个电影样本，而 PLSDA 仅导致了 80.95% 的准确率。所提出的方法在利用来自多元时间序列数据集的时间依赖性的独特特征方面功能强大且通用，可以适应时间序列上的非全等图像以及光谱数据。当将像素级模型投影到基于对象的分类时，PCA-LSTM 方法产生了 100% 的准确率，正确分类了独立测试集中的 21 个电影样本，而 PLSDA 仅导致了 80.95% 的准确率。所提出的方法在利用来自多元时间序列数据集的时间依赖性的独特特征方面功能强大且通用，可以适应时间序列上的非全等图像以及光谱数据。当将像素级模型投影到基于对象的分类时，PCA-LSTM 方法产生了 100% 的准确率，正确分类了独立测试集中的 21 个电影样本，而 PLSDA 仅导致了 80.95% 的准确率。所提出的方法在利用来自多元时间序列数据集的时间依赖性的独特特征方面功能强大且通用，可以适应时间序列上的非全等图像以及光谱数据。