工程研究发现人工智能机器人存在严重漏洞

Josiah02 · 发表于 2024-10-18 08:31:34

在其新的“负责任创新”计划中，宾夕法尼亚大学工程学院的研究人员发现，人工智能机器人的某些功能存在以前未发现和未知的安全漏洞和弱点。该研究旨在解决新出现的漏洞，以确保在机器人技术中安全部署大型语言模型 (LLM)。
“我们的工作表明，目前，大型语言模型与物理世界相结合时还不够安全，”UPS 交通运输基金会电气与系统工程 (ESE)、计算机与信息科学 (CIS) 和机械工程与应用力学 (MEAM) 教授 George Pappas 说。
在新论文中，同时担任宾夕法尼亚大学工程学院研究副院长的帕帕斯和他的合著者警告说，各种各样的人工智能控制的机器人都可能被操纵或被黑客入侵。
在公开发布该研究之前，宾夕法尼亚大学工程学院向这些公司通报了他们的系统漏洞，并与他们合作，利用该研究作为框架，推进这些制造商的人工智能安全协议的测试和验证。
“这里需要强调的是，当你发现系统的弱点时，系统就会变得更安全。这对于网络安全来说是正确的。对于人工智能安全也是如此，”宾夕法尼亚大学工程系 ESE 博士毕业生、现任卡内基梅隆大学博士后学者、该论文的第一作者亚历山大·罗比 (Alexander Robey) 说道。
“事实上，人工智能红队测试是一种安全实践，需要测试人工智能系统是否存在潜在威胁和漏洞，这对于保护生成人工智能系统至关重要——因为一旦你发现了弱点，那么你就可以测试甚至训练这些系统来避免它们。”
研究人员认为，解决这个问题所需要的不是软件补丁，而是对如何监管人工智能与物理系统的集成进行全面重新评估。
宾夕法尼亚大学工程学院内米洛夫斯基家族院长兼另一位合著者维贾伊·库马尔 (Vijay Kumar) 表示：“这篇论文的研究结果清楚地表明，采取安全第一的方法对于开启负责任的创新至关重要。”
“在现实世界中部署人工智能机器人之前，我们必须解决其内在的弱点。事实上，我们的研究正在开发一个验证和确认框架，以确保机器人系统只能采取符合社会规范的行动。”

账号		自动登录	找回密码
密码			立即注册