摘要:4月17日,DARPA发布了一份机器视觉干扰技术(TMVD)广泛机构公告(BAA),寻求开发可干扰常用机器视觉系统的攻击算法,该算法可针对不同类型的神经网络架构进行攻击,导致其图像识别能力的大幅下降,并且不会产生错误图像分类的偏好。在第1阶段,开发人员可针对一类物体的图像开发攻击算法,最终应对机器视觉的输出向量概率进行漂白,从而导致原机器视觉系统能够以较高的概率犯错,并且不会产生错误图像类型的偏好。

4月17日,DARPA发布了一份机器视觉干扰技术(TMVD)广泛机构公告(BAA),寻求开发可干扰常用机器视觉系统的攻击算法,该算法可针对不同类型的神经网络架构进行攻击,导致其图像识别能力的大幅下降,并且不会产生错误图像分类的偏好。

过去几年,人们发现卷积神经网络(CNN)架构的一些属性使其很容易被干扰,在特定的情况下对一副输入图像进行更改,可降低机器视觉系统的准确性。例如,对一副包含有熊猫的图像添加人眼看不到的随机像素集(被称为基于像素的更改方法或扰动),分类器会将其识别为长臂猿。这种对机器视觉系统的攻击方法具备一定的普适性,敌人针对某类图片和某类神经网络架构制造的扰动会大幅降低这种神经网络架构对其他类型图片的识别准确率和其他类型神经网络架构的图片识别准确率。但是,这类攻击方法大多都需要事先获取训练数据集或了解被攻击系统的原始神经网络架构。此外,还有一类攻击方法可为输入图像添加人眼可见的图像,即为输入图片打补丁,可导致人工智能系统将50英里/小时的限速标志识别为停止标志。 以上这些干扰方法虽然会使人工智能系统的识别准确率降低,但是人在图像识别过程中不会受到这些干扰的影响。也许这些神经网络前期对图像特征提取的卷积层并没有反映出在人看来显而易见的“语义”特征,从而为上述干扰方法带来了可利用的漏洞。因此,开发和利用神经网络的通用干扰方法,并研究这些方法背后的科学原理将有助于人们加深对神经网络架构的理解,并为此开发鲁棒的方法。 为实现上述目标,DARPA开展了机器视觉干扰技术(TMVD)项目,寻求开发干扰基于神经网络计算机视觉的技术,这种技术不需要原始训练数据集,且不了解所要干扰的计算机视觉系统架构。根据项目目标,开发人员需要开发一种人眼难以察觉的图像识别“噪音”,这种噪音需要能够防止对抗性数据挖掘技术通过开源图像机对其进行剥离或分类。

该项目分为两个阶段。第1阶段为基础研究阶段,注重开发通用攻击算法,演示该算法针对3种以上网络的成功攻击效果,并评估其应用到其他类型网络的可扩展性。在第1阶段,开发人员可针对一类物体的图像开发攻击算法,最终应对机器视觉的输出向量概率进行漂白,从而导致原机器视觉系统能够以较高的概率犯错,并且不会产生错误图像类型的偏好。要求是,这种攻击算法不能获取训练机器视觉系统的图像,系统架构内容,其中包括输入单元量、隐藏层数、梯度下降策略、输出单元量、以及输出是否代表归一化指数层计算等。 攻击算法应具备通用性,干扰/攻击样式应对各种主题、不同距离、不同方位、不同自然浏览条件、不同程度遮挡和不同分辨率的图片有效。为强调攻击算法的鲁棒性,开发人员应尽量开发在图片经过调整或滤光处理后仍能达到攻击效果的算法,此外还需要演示将这种算法应用到一系列静态帧(例如视频帧)时的有效性和视频数据能够进行剥离或分类时的有效性。攻击算法还应生成导致标准卷积神经网络、包含自编码器的算法、循环神经网络(RNN)、长短期记忆网络(LSTM)、生成对抗网络(GAN)或其他混合架构等多种计算机视觉神经网络架构以较高概率出现分类错误的攻击样式。

该项目的第2阶段为可选择性研究阶段,主要工作包括:(a)开发人员从信号处理角度分析其开发的算法,并识别和总结算法有效性背后的核心规则;(b)进一步测试所开发的算法对多种网络和训练方案的有效性,以评估算法的通用性。第2阶段中的性能测试必须包含对现实世界中新图像的测试,而不能仅依赖标准图像数据库。

相关文章