Neural Networks (NNs) have increasingly apparent safety implications commensurate with their proliferation in real-world applications: both unanticipated as well as adversarial misclassifications can result in fatal outcomes. As a consequence, techniques of formal verification have been recognized as crucial to the design and deployment of safe NNs. In this paper, we introduce a new approach to formally verify the most commonly considered safety specification for ReLU NNs -- i.e. polytopic specifications on the input and output of the network. Like some other approaches, ours uses a relaxed convex program to mitigate the combinatorial complexity of the problem. However, unique in our approach is the way we exploit the geometry of neuronal activation regions to further prune the search space of relaxed neuron activations. In particular, conditioning on neurons from input layer to output layer, we can regard each relaxed neuron as having the simplest possible geometry for its activation region: a half-space.This paradigm can be leveraged to create a verification algorithm that is not only faster in general than competing approaches, but is also able to verify considerably more safety properties. For example, our approach completes the standard MNIST verification test bench 2.7-50 times faster than competing algorithms while still proving 14-30% more properties. We also used our framework to verify the safety of a neural network controlled autonomous robot in a structured environment, and observed a 1900 times speed up compared to existing methods.

中文翻译：

---

使用线性区域几何对神经网络进行有效形式验证

神经网络 (NN) 具有越来越明显的安全影响，与其在实际应用中的扩散相称：意外和对抗性错误分类都可能导致致命的结果。因此，形式验证技术被认为对安全神经网络的设计和部署至关重要。在本文中，我们介绍了一种新方法来正式验证 ReLU NN 最常考虑的安全规范——即网络输入和输出的多主题规范。与其他一些方法一样，我们的方法使用松弛的凸程序来减轻问题的组合复杂性。然而，我们方法的独特之处在于我们利用神经元激活区域的几何形状来进一步修剪松弛神经元激活的搜索空间的方式。特别是，调节从输入层到输出层的神经元，我们可以将每个松弛神经元视为其激活区域具有最简单的几何形状：半空间。可以利用这种范式来创建一种验证算法，该算法不仅比一般的快竞争方法，但也能够验证更多的安全特性。例如，我们的方法完成标准 MNIST 验证测试平台的速度比竞争算法快 2.7-50 倍，同时仍然证明了 14-30% 的属性。我们还使用我们的框架来验证结构化环境中神经网络控制的自主机器人的安全性，并观察到与现有方法相比速度提高了 1900 倍。我们可以将每个松弛神经元视为其激活区域具有最简单的几何形状：半空间。可以利用这种范式来创建验证算法，该算法不仅通常比竞争方法更快，而且还能够进行大量验证更多的安全特性。例如，我们的方法完成标准 MNIST 验证测试平台的速度比竞争算法快 2.7-50 倍，同时仍然证明了 14-30% 的属性。我们还使用我们的框架来验证结构化环境中神经网络控制的自主机器人的安全性，并观察到与现有方法相比速度提高了 1900 倍。我们可以将每个松弛神经元视为其激活区域具有最简单的几何形状：半空间。可以利用这种范式来创建验证算法，该算法不仅通常比竞争方法更快，而且还能够进行大量验证更多的安全特性。例如，我们的方法完成标准 MNIST 验证测试平台的速度比竞争算法快 2.7-50 倍，同时仍然证明了 14-30% 的属性。我们还使用我们的框架来验证结构化环境中神经网络控制的自主机器人的安全性，并观察到与现有方法相比速度提高了 1900 倍。但也能够验证更多的安全特性。例如，我们的方法完成标准 MNIST 验证测试平台的速度比竞争算法快 2.7-50 倍，同时仍然证明了 14-30% 的属性。我们还使用我们的框架来验证结构化环境中神经网络控制的自主机器人的安全性，并观察到与现有方法相比速度提高了 1900 倍。但也能够验证更多的安全特性。例如，我们的方法完成标准 MNIST 验证测试平台的速度比竞争算法快 2.7-50 倍，同时仍然证明了 14-30% 的属性。我们还使用我们的框架来验证结构化环境中神经网络控制的自主机器人的安全性，并观察到与现有方法相比速度提高了 1900 倍。