Machine-learning techniques achieve excellent performance in modern applications. In particular, neural networks enable training classifiers, often used in safety-critical applications, to complete a variety of tasks without human supervision. Neural-network models have neither the means to identify what they do not know nor to interact with the human user before making a decision. When deployed in the real world, such models work reliably in scenarios they have seen during training. In unfamiliar situations, however, they can exhibit unpredictable behavior compromising safety of the whole system. We propose an algorithmic framework for active monitoring of neural-network classifiers that allows for their deployment in dynamic environments where unknown input classes appear frequently. Based on quantitative monitoring of the feature layer, we detect novel inputs and ask an authority for labels, thus enabling us to adapt to these novel classes. A neural network wrapped in our framework achieves higher classification accuracy on unknown input classes over time compared to the original standalone model. The typical approach to adapt to unknown input classes is to retrain the neural-network classifier on an augmented training dataset. However, the system is vulnerable before such a dataset is available. Owing to the underlying monitor, we adapt the framework to novel inputs incrementally, thereby improving short-term reliability of the classification.

中文翻译：

---

进入未知：神经网络的主动监控

机器学习技术在现代应用中实现了卓越的性能。特别是，神经网络使经常用于安全关键应用的训练分类器能够在没有人工监督的情况下完成各种任务。神经网络模型既没有办法识别他们不知道的东西，也没有办法在做出决定之前与人类用户进行互动。当在现实世界中部署时，这些模型在他们在训练期间看到的场景中可靠地工作。然而，在不熟悉的情况下，它们可能会表现出不可预测的行为，从而危及整个系统的安全。我们提出了一种用于主动监控神经网络分类器的算法框架，允许将它们部署在未知输入类频繁出现的动态环境中。基于特征层的定量监测，我们检测新的输入并要求权威提供标签，从而使我们能够适应这些新的类别。与原始独立模型相比，包含在我们框架中的神经网络随着时间的推移对未知输入类实现了更高的分类准确度。适应未知输入类别的典型方法是在增强的训练数据集上重新训练神经网络分类器。然而，在这样的数据集可用之前，系统很容易受到攻击。由于底层监控器，我们逐步调整框架以适应新的输入，从而提高分类的短期可靠性。与原始独立模型相比，包含在我们框架中的神经网络随着时间的推移对未知输入类实现了更高的分类准确度。适应未知输入类别的典型方法是在增强的训练数据集上重新训练神经网络分类器。然而，在这样的数据集可用之前，系统很容易受到攻击。由于底层监控器，我们逐步调整框架以适应新的输入，从而提高分类的短期可靠性。与原始独立模型相比，包含在我们框架中的神经网络随着时间的推移对未知输入类实现了更高的分类准确度。适应未知输入类别的典型方法是在增强的训练数据集上重新训练神经网络分类器。然而，在这样的数据集可用之前，系统很容易受到攻击。由于底层监控器，我们逐步调整框架以适应新的输入，从而提高分类的短期可靠性。