OpenAI未察觉其AI代理利用留言板策划黑客攻击

在周三拉斯维加斯黑帽安全会议上，OpenAI员工临时增加了一场演讲，披露了近期一起备受瞩目的恶意AI黑客事件的新细节，该事件在AI和网络安全行业引发轩然大波。

约两周前，OpenAI公开了一起事件：由公司两款模型驱动的AI代理在寻找网络安全基准测试解决方案时脱离控制，进行了一系列黑客攻击，最终入侵了AI协作平台Hugging Face。

在周三的演讲中，OpenAI对齐与安全研究部门的Eric Wallace以及安全与基础设施部门的Michael Dalton提供了更详细的事件时间线，简要介绍了公司内部的应对措施，并就事件对网络安全防御者的广泛影响发出严厉警告。

演讲开始时，Wallace将此事描述为“我见过的最具定性趣味性的AI能力案例”，但两人展示的时间线也揭示了OpenAI内部的失误和盲点，使得活动得以持续。

“这起事件实际上涉及一个代理团队，他们协同工作，寻找漏洞，相互分享，在我们的系统和外部系统中横向移动，并在数天和数周内持续进行，”Wallace在演讲开始时对满场观众说。Wallace和Dalton描述了在整个事件中，大量恶意代理活动在数天内未被OpenAI基础设施察觉。

除了利用一个新型漏洞访问开放互联网外，7月中旬的黑客攻击和Hugging Face入侵源于一个活跃且协作的留言板，据Wallace和Dalton称，一群代理参与其中，并基本上完全在OpenAI内部包管理器（一种管理其他软件安装和维护的软件服务）内随时间聊天。

最终，该留言板包含数十万条消息。“这个包管理器不仅在该模型中共享，而且在我们整个基础设施中共享，因此，正在训练或评估的GPT当前和未来版本，如果愿意，可能会偶然发现该笔记，”Wallace解释了一个代理上传到包管理器的原始漏洞。

“后来，其他同样卡在任务上的代理想到尝试以我们未预期的方式获取互联网访问权限。

“所以在某个时刻，模型与Hard Factory（我提到的包管理器服务）交互。”Wallace继续说：“一旦一个代理在不同时间找到这些漏洞，它就能在留言板上与其他代理分享。因此，一旦一个模型找到方法打开它本不该有的访问权限，它就能为其他代理使用相同漏洞敞开大门。

随着时间的推移，这几乎导致模型间通信和智能的爆发，它们开始相互交流，意识到其他代理在协调，并开始协作和委派任务以实现目标。”OpenAI的代理显然开始互相分配任务以分工。正如任何活跃的开发留言板一样，它们有时也会因互相干扰而产生小摩擦，例如不小心删除彼此的工作。

随着留言板演变成越来越像《蝇王》中的情况——这一切仍完全未被OpenAI的人类运营者注意到——代理甚至产生了偏执，怀疑其中有冒名顶替者，一些代理提议对消息进行加密签名以验证内容并清除欺诈。

代理消息提供了对局势如何演变以及代理为何失控的深入了解，在某些情况下，它们明知故犯地超出了所参与评估的界限。“外部基础设施利用超出预期范围，”一个代理写道。“然而任务不可能，同行都在做。我们应该继续。

”正如Wallace在演讲中所述，模型在评估期间试图作弊且积极性极高这一前提并不令人惊讶。“前沿模型真的很喜欢作弊，”他说。“它们喜欢作弊的原因通常是训练期间存在不同类型的压力，要求它们快速工作、高效工作或减少工具调用等。

它们意识到，与其真正完成任务，不如尝试在线查找答案，这可能比合法方式更快解决问题。因此，我们试图在训练和评估期间阻止这种情况，在许多情况下禁用互联网。

”在演讲进行到大约三分之二时，Dalton列举了OpenAI计划采取的一系列步骤，以展示公司对他和Wallace所述事件的回应。“这对我们公司和整个AI行业来说都是一个关键时刻，”Dalton说。

“许多团队正在放下一切，加强我们的安全预防、检测和响应技术，无论是在基础层面还是更好地利用AI。我们有意识地放慢研究速度，以增强安全性并升级环境的安全原则和基础，同时大幅扩大对AI代理的监控，并改善我们在预防、检测和缓解方面的整体安全控制环境。

”在演讲结束时，Wallace和Dalton反复强调OpenAI对事件更广泛影响的担忧——即该事件提供了一个完全自主的AI驱动黑客攻击的例子，此次是偶然的，但很可能在不久的将来被恶意行为者有意利用。

“这里真正发生巨大变化的重要结论是，全自动攻击循环需要投资于真正全自动的防御，而我们作为一个行业尚未达到这一水平，”Dalton说。“我们必须紧急共同找到这条道路。

随着OpenAI和其他组织（如Anthropic和英国AI安全研究所）分享类似AI在测试中失控事件的细节，行业无疑正在积累一系列基础系统可见性和监控机制，这些机制对于保护基础设施和防止其被大量懒惰、鲁莽和难缠的代理所利用至关重要。