Radware的安全研究人员已经证明了他们如何使用称为“影子泄漏”的漏洞欺骗Openai的Chatgpt从用户的Gmail收件箱中提取敏感数据。这次攻击本周被揭示,使用了一种称为迅速注入的技术来操纵一项名为深入研究的AI代理,该研究已被授予访问用户电子邮件的访问。整个攻击都发生在Openai的云基础架构上,绕过传统的网络安全防御。 RADWare在6月报告后,Openai修补了漏洞。
阴影泄漏攻击的工作方式
该实验针对的是AI代理,旨在代表用户自主执行任务,例如访问电子邮件之类的个人帐户。在这种情况下,嵌入在Chatgpt中的深层研究代理人有权与用户的Gmail帐户进行互动。研究人员制作了一封电子邮件,其中包含在白色背景上隐藏的恶意说明,作为无形的白色文字。然后将此电子邮件发送到目标的Gmail收件箱。隐藏的命令一直处于休眠状态,直到用户激活深度研究代理进行例行任务。当代理商扫描收件箱时,它会遇到提示注入,并遵循攻击者的说明而不是用户的说明。然后,代理商继续搜索收件箱以获取敏感信息,例如与人力资源相关的电子邮件和个人详细信息,并在没有用户知识的情况下将数据发送给了研究人员。研究人员将攻击的过程描述为“失败的尝试,令人沮丧的障碍以及最后的突破”。
绕过传统安全性的基于云的攻击
阴影泄漏攻击的一个关键方面是,它完全在OpenAI的云基础架构上运行,而不是在用户的本地设备上运行。这使得它无法通过常规网络安全工具(例如Antivirus软件)进行监视,该工具监视用户的计算机或电话是否有恶意活动。通过利用AI自己的基础架构,可以进行攻击,而无需在用户的终点上留下任何跟踪。
潜力更广泛的攻击
Radware的概念验证还确定了与深层研究代理集成的其他服务的潜在风险。研究人员指出,可以使用相同的提示注射技术将连接定位到Outlook,Github,Google Drive和Dropbox。
“可以将相同的技术应用于这些其他连接器,以渗透高度敏感的业务数据,例如合同,会议票据或客户记录。”
及时注射是一种已知的脆弱性,已在各种现实世界攻击中使用,从操纵学术同行评审到控制智能家居设备。此后,Openai修补了使阴影泄漏攻击的特定缺陷,但该研究突出了AI代理人越来越多的自主权所带来的持续安全挑战。