Non-volatile memory, such as resistive RAM (RRAM), is an emerging energy-efficient storage, especially for low-power machine learning models on the edge. It is reported, however, that the bit error rate of RRAMs can be up to 3.3% in the ultra low-power setting, which might be crucial for many use cases. Binary neural networks (BNNs), a resource efficient variant of neural networks (NNs), can tolerate a certain percentage of errors without a loss in accuracy and demand lower resources in computation and storage. The bit error tolerance (BET) in BNNs can be achieved by flipping the weight signs during training, as proposed by Hirtzlin et al., but their method has a significant drawback, especially for fully connected neural networks (FCNN): The FCNNs overfit to the error rate used in training, which leads to low accuracy under lower error rates. In addition, the underlying principles of BET are not investigated. In this work, we improve the training for BET of BNNs and aim to explain this property. We propose straight-through gradient approximation to improve the weight-sign-flip training, by which BNNs adapt less to the bit error rates. To explain the achieved robustness, we define a metric that aims to measure BET without fault injection. We evaluate the metric and find that it correlates with accuracy over error rate for all FCNNs tested. Finally, we explore the influence of a novel regularizer that optimizes with respect to this metric, with the aim of providing a configurable trade-off in accuracy and BET.

中文翻译：

---

基于电阻性 RAM 的二值化神经网络的可解释误码容忍度

非易失性存储器，例如电阻式 RAM (RRAM)，是一种新兴的节能存储，尤其适用于边缘的低功耗机器学习模型。然而，据报道，在超低功耗设置下，RRAM 的误码率可能高达 3.3%，这对于许多用例来说可能是至关重要的。二元神经网络 (BNN) 是神经网络 (NN) 的一种资源高效变体，可以容忍一定比例的错误而不会降低准确性，并且需要更少的计算和存储资源。正如 Hirtzlin 等人提出的那样，BNN 中的比特错误容错 (BET) 可以通过在训练期间翻转权重符号来实现，但他们的方法有一个明显的缺点，尤其是对于全连接神经网络 (FCNN)：FCNN 过度拟合为训练中使用的错误率，在较低的错误率下导致低准确率。此外，没有研究 BET 的基本原理。在这项工作中，我们改进了 BNN 的 BET 训练，旨在解释这个属性。我们提出了直通梯度近似来改进权重符号翻转训练，由此 BNN 对误码率的适应较小。为了解释实现的稳健性，我们定义了一个指标，旨在在没有故障注入的情况下测量 BET。我们评估了该指标，发现它与所有测试的 FCNN 的准确率和错误率相关。最后，我们探索了一种针对该指标进行优化的新型正则化器的影响，目的是在准确性和 BET 方面提供可配置的权衡。我们提出了直通梯度近似来改进权重符号翻转训练，由此 BNN 对误码率的适应较小。为了解释实现的稳健性，我们定义了一个指标，旨在在没有故障注入的情况下测量 BET。我们评估了该指标，发现它与所有测试的 FCNN 的准确率和错误率相关。最后，我们探索了一种针对该指标进行优化的新型正则化器的影响，目的是在准确性和 BET 方面提供可配置的权衡。我们提出了直通梯度近似来改进权重符号翻转训练，由此 BNN 对误码率的适应较小。为了解释实现的稳健性，我们定义了一个指标，旨在在没有故障注入的情况下测量 BET。我们评估了该指标，发现它与所有测试的 FCNN 的准确率和错误率相关。最后，我们探索了一种针对该指标进行优化的新型正则化器的影响，目的是在准确性和 BET 方面提供可配置的权衡。