Substitute model black box attacks can create adversarial examples for a target model just by accessing its output labels. This poses a major challenge to machine learning models in practice, particularly in security sensitive applications. The 01 loss model is known to be more robust to outliers and noise than convex models that are typically used in practice. Motivated by these properties we present 01 loss linear and 01 loss dual layer neural network models as a defense against transfer based substitute model black box attacks. We compare the accuracy of adversarial examples from substitute model black box attacks targeting our 01 loss models and their convex counterparts for binary classification on popular image benchmarks. Our 01 loss dual layer neural network has an adversarial accuracy of 66.2%, 58%, 60.5%, and 57% on MNIST, CIFAR10, STL10, and ImageNet respectively whereas the sigmoid activated logistic loss counterpart has accuracies of 63.5%, 19.3%, 14.9%, and 27.6%. Except for MNIST the convex counterparts have substantially lower adversarial accuracies. We show practical applications of our models to deter traffic sign and facial recognition adversarial attacks. On GTSRB street sign and CelebA facial detection our 01 loss network has 34.6% and 37.1% adversarial accuracy respectively whereas the convex logistic counterpart has accuracy 24% and 1.9%. Finally we show that our 01 loss network can attain robustness on par with simple convolutional neural networks and much higher than its convex counterpart even when attacked with a convolutional network substitute model. Our work shows that 01 loss models offer a powerful defense against substitute model black box attacks.

中文翻译：

---

以01损失防御替代模型黑盒对抗攻击

替代模型黑盒攻击只需访问其输出标签即可为目标模型创建对抗性示例。这对实践中的机器学习模型提出了重大挑战，特别是在安全敏感应用程序中。众所周知，01 损失模型比实际中通常使用的凸模型对异常值和噪声更稳健。受这些特性的启发，我们提出了 01 损失线性和 01 损失双层神经网络模型，以防御基于传输的替代模型黑盒攻击。我们比较了针对我们的 01 损失模型及其凸对应物的替代模型黑盒攻击的对抗性示例在流行图像基准上进行二元分类的准确性。我们的 01 loss 双层神经网络在 MNIST、CIFAR10、STL10 和 ImageNet，而 sigmoid 激活逻辑损失对应物的准确率分别为 63.5%、19.3%、14.9% 和 27.6%。除了 MNIST，凸对应物的对抗精度要低得多。我们展示了我们的模型在阻止交通标志和面部识别对抗性攻击方面的实际应用。在 GTSRB 路牌和 CelebA 面部检测上，我们的 01 损失网络分别具有 34.6% 和 37.1% 的对抗精度，而凸逻辑对应物的精度分别为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。和 ImageNet，而 sigmoid 激活逻辑损失对应物的准确率分别为 63.5%、19.3%、14.9% 和 27.6%。除了 MNIST，凸对应物的对抗精度要低得多。我们展示了我们的模型在阻止交通标志和面部识别对抗性攻击方面的实际应用。在 GTSRB 路牌和 CelebA 面部检测上，我们的 01 损失网络分别具有 34.6% 和 37.1% 的对抗精度，而凸逻辑对应物的精度分别为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。和 ImageNet，而 sigmoid 激活逻辑损失对应物的准确率分别为 63.5%、19.3%、14.9% 和 27.6%。除了 MNIST，凸对应物的对抗精度要低得多。我们展示了我们的模型在阻止交通标志和面部识别对抗性攻击方面的实际应用。在 GTSRB 路牌和 CelebA 面部检测上，我们的 01 损失网络分别具有 34.6% 和 37.1% 的对抗精度，而凸逻辑对应物的精度分别为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。6%。除了 MNIST，凸对应物的对抗精度要低得多。我们展示了我们的模型在阻止交通标志和面部识别对抗性攻击方面的实际应用。在 GTSRB 路牌和 CelebA 面部检测上，我们的 01 损失网络分别具有 34.6% 和 37.1% 的对抗精度，而凸逻辑对应物的精度分别为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。6%。除了 MNIST，凸对应物的对抗精度要低得多。我们展示了我们的模型在阻止交通标志和面部识别对抗性攻击方面的实际应用。在 GTSRB 路牌和 CelebA 面部检测上，我们的 01 损失网络分别具有 34.6% 和 37.1% 的对抗精度，而凸逻辑对应物的精度分别为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。我们展示了我们的模型在阻止交通标志和面部识别对抗性攻击方面的实际应用。在 GTSRB 路牌和 CelebA 面部检测上，我们的 01 损失网络分别具有 34.6% 和 37.1% 的对抗精度，而凸逻辑对应物的精度分别为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。我们展示了我们的模型在阻止交通标志和面部识别对抗性攻击方面的实际应用。在 GTSRB 路牌和 CelebA 面部检测上，我们的 01 损失网络分别具有 34.6% 和 37.1% 的对抗精度，而凸逻辑对应物的精度分别为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。分别为 1% 的对抗精度，而凸逻辑对应的精度为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。分别为 1% 的对抗精度，而凸逻辑对应的精度为 24% 和 1.9%。最后，我们表明我们的 01 损失网络可以获得与简单卷积神经网络相当的鲁棒性，并且远高于其凸对应物，即使受到卷积网络替代模型的攻击。我们的工作表明，01 损失模型提供了强大的防御替代模型黑盒攻击的能力。