In cloud and edge computing models, it is important that compute devices at the edge be as power efficient as possible. Long short-term memory (LSTM) neural networks have been widely used for natural language processing, time series prediction and many other sequential data tasks. Thus, for these applications there is increasing need for low-power accelerators for LSTM model inference at the edge. In order to reduce power dissipation due to data transfers within inference devices, there has been significant interest in accelerating vector-matrix multiplication (VMM) operations using non-volatile memory (NVM) weight arrays. In NVM array-based hardware, reduced bit-widths also significantly increases the power efficiency. In this paper, we focus on the application of quantization-aware training algorithm to LSTM models, and the benefits these models bring in terms of resilience against both quantization error and analog device noise. We have shown that only 4-bit NVM weights and 4-bit ADC/DACs are needed to produce equivalent LSTM network performance as floating-point baseline. Reasonable levels of ADC quantization noise and weight noise can be naturally tolerated within our NVMbased quantized LSTM network. Benchmark analysis of our proposed LSTM accelerator for inference has shown at least 2.4x better computing efficiency and 40x higher area efficiency than traditional digital approaches (GPU, FPGA, and ASIC). Some other novel approaches based on NVM promise to deliver higher computing efficiency (up to 4.7x) but require larger arrays with potential higher error rates.

中文翻译：

---

基于非易失性存储器阵列的量化和抗噪 LSTM 神经网络

在云和边缘计算模型中，边缘计算设备尽可能节能非常重要。长短期记忆 (LSTM) 神经网络已广泛用于自然语言处理、时间序列预测和许多其他序列数据任务。因此，对于这些应用，越来越需要用于边缘 LSTM 模型推理的低功耗加速器。为了降低推理设备内数据传输造成的功耗，人们对使用非易失性存储器 (NVM) 权重阵列加速矢量矩阵乘法 (VMM) 操作产生了浓厚的兴趣。在基于 NVM 阵列的硬件中，减少位宽也显着提高了电源效率。在本文中，我们专注于量化感知训练算法在 LSTM 模型中的应用，以及这些模型在抵御量化误差和模拟设备噪声方面带来的好处。我们已经表明，只需要 4 位 NVM 权重和 4 位 ADC/DAC 即可产生与浮点基线等效的 LSTM 网络性能。在我们基于 NVM 的量化 LSTM 网络中，可以自然地容忍合理水平的 ADC 量化噪声和权重噪声。我们提出的用于推理的 LSTM 加速器的基准分析表明，与传统数字方法（GPU、FPGA 和 ASIC）相比，计算效率至少提高了 2.4 倍，面积效率提高了 40 倍。其他一些基于 NVM 的新方法有望提供更高的计算效率（高达 4.7 倍），但需要更大的阵列，并具有更高的潜在错误率。我们已经表明，只需要 4 位 NVM 权重和 4 位 ADC/DAC 即可产生与浮点基线等效的 LSTM 网络性能。在我们基于 NVM 的量化 LSTM 网络中，可以自然地容忍合理水平的 ADC 量化噪声和权重噪声。我们提出的用于推理的 LSTM 加速器的基准分析表明，与传统数字方法（GPU、FPGA 和 ASIC）相比，计算效率至少提高了 2.4 倍，面积效率提高了 40 倍。其他一些基于 NVM 的新方法有望提供更高的计算效率（高达 4.7 倍），但需要更大的阵列，并具有更高的潜在错误率。我们已经表明，只需要 4 位 NVM 权重和 4 位 ADC/DAC 即可产生与浮点基线等效的 LSTM 网络性能。在我们基于 NVM 的量化 LSTM 网络中，可以自然地容忍合理水平的 ADC 量化噪声和权重噪声。我们提出的用于推理的 LSTM 加速器的基准分析表明，与传统数字方法（GPU、FPGA 和 ASIC）相比，计算效率至少提高了 2.4 倍，面积效率提高了 40 倍。其他一些基于 NVM 的新方法有望提供更高的计算效率（高达 4.7 倍），但需要更大的阵列，并具有更高的潜在错误率。在我们基于 NVM 的量化 LSTM 网络中，可以自然地容忍合理水平的 ADC 量化噪声和权重噪声。我们提出的用于推理的 LSTM 加速器的基准分析表明，与传统数字方法（GPU、FPGA 和 ASIC）相比，计算效率至少提高了 2.4 倍，面积效率提高了 40 倍。其他一些基于 NVM 的新方法有望提供更高的计算效率（高达 4.7 倍），但需要更大的阵列，并具有更高的潜在错误率。在我们基于 NVM 的量化 LSTM 网络中，可以自然地容忍合理水平的 ADC 量化噪声和权重噪声。我们提出的用于推理的 LSTM 加速器的基准分析表明，与传统数字方法（GPU、FPGA 和 ASIC）相比，计算效率至少提高了 2.4 倍，面积效率提高了 40 倍。其他一些基于 NVM 的新方法有望提供更高的计算效率（高达 4.7 倍），但需要更大的阵列，并具有更高的潜在错误率。