Google研究员用一张简单贴纸,成功吸走图像辨识系统的所有目光

过去我们曾看过负责图像辨识的 AI 将乌龟误认为手枪,近日研究人员又对相关系统进行了一些「攻击」测试,结果发现甚至不需要 3D 列印,小小一张特殊的贴纸就足以夺走 AI 的目光,就像在斗牛眼前晃动的红布。

Techcrunch 报导,机器学习(Machine learning)技术应用的兴起促进许多 AI 的发展,这让系统辨识图像非常有能力,但在缺乏常识的情况下,它们并不聪明。

机器视觉是非常複杂的过程,就像人类一样,机器也得透过认知才能够正确分辨看到的景物,为了做到这一点,这些图像辨识系统设定的重要捷径便是:不为每个像素指定同样的重要性。

举例来说,这是一张房子的照片,背景有天空和草地,系统透过一些基本规则清楚知道,儘管天空和草地也在图片中,但并不是画面「主角」,因此儘管也会将其纳入考量,机器会花上更多时间来分析中间房子的形状。

而 Google 研究人员想了解的是,如果这个捷径的判定出错了,那么电脑会忽略房子,而把注意力转向集中在选择的东西上吗?

除了学会辨识背景,AI 也已学会观察特定曲线、颜色的组合,于是研究人员便针对特定图像辨识系统,尝试许多颜色、形状、大小的组合,找出系统专注的特徵,并试图创造出一个能分散系统的小型圆型图片。

最终他们试出了最佳解答:小小的迷幻漩涡。

Adversarial Patch

 

只要把它放在系统已知的对象旁边,例如一根香蕉,系统会立即忘掉香蕉,认为图片的主角就是迷幻漩涡。

团队发现,迷幻漩涡的效果是系统性的,因此不会受到图片差别的影响,这意味著无论系统看著何种图片,迷幻图形产生的干扰作用通常都能达成。

过去欺骗机器视觉的尝试,经常是对图片进行重複的些微调整,寻找是否有一些像素放置的位置能造成混淆,但迷幻漩涡的效果完全不同。

研究人员最近在长滩举办的神经讯息处理系统会议(NIPS)介绍他们的研究成果,这项研究表明,只注意图片些微调整的地方是不够的,因为大的局部干扰也可能会破坏辨识系统的工作。

这种研究人员认为是强大的、高度本地化的骚扰,对图像辨识系统构成一种新型态的威胁,儘管「迷幻漩涡」是研究者针对特定系统测试出的图案,但整体概念仍一样,如果针对其他系统研究,也有可能会发现类似的「红布」。

类似的干扰图片或许甚至会伪装成无害的贴纸,让可能存在的辨识应用失效,即使人们注意到这些特殊的图像,也很可能不会了解其中的意图,而是视之为一种艺术形式。

 

资料来源/数位时代 

发表评论