大学研究团队针对计算机视觉AI的开源自然对抗图像数据集

来自三所大学的研究团队最近发布了一个名为ImageNet-A的数据集，其中包含自然对抗图像：被图像识别AI错误分类的真实世界图像。当在几个最先进的预训练模型上用作测试集时，这些模型的准确率不到3%。

在七月发表论文，研究人员从加州大学伯克利分校，在华盛顿大学和芝加哥大学描述他们的过程创造7500倍的图像，这是刻意选择的数据集“傻瓜”预训练的形象识别系统。尽管以前已经有 关于这种系统的对抗攻击的研究，但是大多数工作都研究如何以使模型输出错误答案的方式修改图像。

相比之下，该团队使用未经互联网收集的真实或“自然”图像。该团队将其图像用作经过预先训练的DenseNet-121的测试集模型，在流行的ImageNet数据集上进行测试时，其top-1错误率为25%。当使用ImageNet-A测试时，该相同模型的top-1错误率为98%。该小组还使用他们的数据集来衡量研究团体制定的“防御性”训练措施的有效性。他们发现“这些技术几乎无济于事”。

近年来，计算机视觉系统取得了长足的进步，这要归功于卷积神经网络(CNN)等深度学习模型以及诸如ImageNet之类的大型精选图像数据集。但是，这些系统仍然容易受到攻击，在这种情况下，人类易于识别的图像已被修改为导致AI将图像识别为其他图像的方式。

这些攻击可能会对自动驾驶汽车造成严重后果：研究人员表明，可以通过使许多计算机视觉系统将停车标志识别为屈服标志的方式来修改停车标志。尽管已经研究 了防御这些攻击的技术，但是到目前为止，“只有两种方法提供了重要的防御”。

这些方法之一称为对抗训练，其中除“干净”输入图像外，还使用具有噪声或其他干扰的对抗图像来训练模型。ImageNet-A团队使用对抗训练和ImageNet数据集来训练ResNeXt-50模型。当在其ImageNet-A对抗数据上进行测试时，这确实稍微提高了模型的鲁棒性;但是，在“干净的” ImageNet测试数据上，通常具有92.2%的top-5精度的模型降级为81.88%，考虑到健壮性的提高，团队认为这是不可接受的。另一方面，该团队发现，简单地增加模型大小(例如，通过添加层)确实提高了鲁棒性，在某些模型体系结构中，准确性几乎提高了一倍。