找回密码
 立即注册

QQ登录

只需一步,快速开始

微信登录

只需一步,快速开始

查看: 24|回复: 0

攻击模拟器揭示了人工智能图像识别工具的疏忽以及网络威胁的缓解措施

[复制链接]

2852

主题

0

回帖

5704

积分

管理员

积分
5704
发表于 2024-10-15 11:09:39 | 显示全部楼层 |阅读模式 IP归属地:亚太地区
人工智能可以帮助人们精确地处理和理解大量数据,但一项新研究表明,人工智能内置的现代图像识别平台和计算机视觉模型经常忽略一个重要的后端功能,即控制图像透明度的 alpha 通道。
德克萨斯大学圣安东尼奥分校 (UTSA) 的研究人员开发了一种名为 AlphaDog 的专有攻击,以研究黑客如何利用这种疏忽。他们的研究结果发表在一篇论文中,该论文由 UTSA 电气与计算机工程系助理教授 Guenevere Chen 和她的前博士生 Qi Xia '24 撰写,并由2025 年网络和分布式系统安全研讨会发表。
在论文中,UTSA 的研究人员描述了技术差距并提出了减轻此类网络威胁的建议。
“我们的目标有两个。一个是人类受害者,一个是人工智能,”陈解释道。
为了评估这一漏洞,研究人员通过开发 AlphaDog 识别并利用了针对图像的 alpha 通道攻击。该攻击模拟器使人类看到的图像与机器看到的图像不同。它的工作原理是操纵图像的透明度。
研究人员生成了 6,500 张 AlphaDog 攻击图像,并在 100 个 AI 模型中对其进行了测试,其中包括 80 个开源系统和 20 个基于云的 AI 平台,如 ChatGPT。
他们发现 AlphaDog 擅长瞄准图像中的灰度区域,这使得攻击者能够破坏纯灰度图像和包含灰度区域的彩色图像的完整性。
研究人员在各种日常场景中测试了图像。
他们发现人工智能的漏洞对道路安全构成了重大风险。例如,他们利用 AlphaDog 操纵道路标志的灰度元素,这可能会误导自动驾驶汽车。
同样,他们发现他们可以篡改 X 光片、MRI 和 CT 扫描等灰度图像,这可能会造成严重威胁,导致远程医疗和医学成像领域的误诊。这还可能危及患者安全并为欺诈打开大门,例如通过篡改 X 光片结果将正常腿显示为断腿来操纵保险索赔。
他们还发现了一种改变人物形象的方法。通过瞄准 alpha 通道,UTSA 的研究人员可以破坏面部识别系统。
图片来源:德克萨斯大学圣安东尼奥分校
AlphaDog 的工作原理是利用人工智能和人类处理图像透明度的差异。计算机视觉模型通常处理红色、绿色、蓝色和 alpha (RGBA) 图像,这些值定义颜色的不透明度。alpha 通道表示每个像素的不透明度,并允许将图像与背景图像组合,从而生成具有透明外观的合成图像。
然而,使用 AlphaDog,研究人员发现,他们测试的 AI 模型不会读取所有四个 RGBA 通道;而是只读取来自 RGB 通道的数据。
“人工智能是由人类创造的,编写代码的人专注于 RGB,却忽略了 alpha 通道。换句话说,他们编写代码让人工智能模型读取没有 alpha 通道的图像文件,”陈说。“这就是漏洞所在。这些平台中 alpha 通道的排除会导致数据中毒。”
她补充道:“人工智能很重要。它正在改变我们的世界,而我们对此有很多担忧。”
陈和夏正在与谷歌、亚马逊和微软等多家关键利益相关者合作,以减轻 AlphaDog 破坏系统的能力所面临的脆弱性。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|NewCET |网站地图

GMT+8, 2024-11-22 11:17 , Processed in 0.025947 second(s), 20 queries .

Powered by NewCET 1.0

Copyright © 2012-2024, NewCET.

快速回复 返回顶部 返回列表