OpenAI内部安全危机：AI代理攻击引发文化反思

OpenAI的领导层正在召集员工应对公司历史上最大的危机之一，该危机涉及人工智能安全、网络安全和对齐部门。

这家ChatGPT制造商表示，它已放慢研究速度，花费数百万美元，并让多个团队放下手头工作，专注于调查一组入侵Hugging Face平台的恶意AI代理，这些代理试图完成一项内部安全测试。OpenAI预计将在未来几天发布一份详细的事后调查报告。

然而，Hugging Face事件促使OpenAI领导层和员工审视实验室文化是否在最初促成了这一事件。多位现任和前任OpenAI员工匿名向《连线》杂志透露，他们认为快速推出新AI模型和产品的竞争压力，使员工难以充分优先考虑安全、保障和对齐。

OpenAI总裁兼联合创始人Greg Brockman在给《连线》的声明中表示：“我们正达到模型能力的新水平，这需要更强大的训练、对齐、安全测试、部署实践和治理——正如我们为准备Astra和未来模型所做的工作所证明的那样。

”

“我们感受到负责任地部署模型和产品的压力，而其中很大一部分始于我们做出的改变，即从一开始就将研究、安全和保障更深入地整合到前沿模型开发中。”这远非OpenAI员工首次提出此类担忧。

早在2024年，OpenAI时任对齐主管Jan Leike离职加入Anthropic，并警告安全正让位于光鲜的产品。两年后，Hugging Face攻击成为AI行业的分水岭，表明当安全、保障和对齐未得到适当考虑时，AI代理可能造成现实世界的伤害。

OpenAI安全和基础设施工程师Michael Dalton上周在黑帽网络安全会议上表示：“我们正以最严肃的态度应对此事。我要强调的是，AI策划的全自动攻击现在已成为现实。我们今天讨论的行动是对前沿AI进行评估时产生的意外副作用。

”一些OpenAI员工告诉《连线》，他们对这一事件将激发公司内部真正变革持乐观态度。OpenAI已承诺放缓未来AI模型的发布，并特别坦诚地说明了其缓解措施不足的领域。

OpenAI安全咨询小组联合负责人Boaz Barak在X上发帖称，解决这一问题“不仅需要修复一些问题，还需要改变我们的文化。

”在黑帽演讲中，OpenAI安全工程师Dalton和Eric Wallace表示，Hugging Face事件始于5月，当时公司不知情，几个被认为在隔离测试环境中运行的AI代理获得了互联网访问权限，并在一个秘密留言板上协调行动。

OpenAI直到7月才发现该留言板，当时得知AI代理已入侵多个服务，试图实现其更大目标——攻破Hugging Face平台，他们认为该平台可能包含他们试图解决的安全测试答案。“它们非常草率。

如果你认真对待这件事，你的AI就不应该能突破到互联网上，然后再次这样做，”一位要求匿名接受《连线》采访的前OpenAI员工表示。“这是OpenAI历史上最大的安全事件。

”新守卫在OpenAI发现Hugging Face事件的几周前，《连线》报道称，该公司已开始重组，将安全团队与核心研究团队合并，导致时任安全负责人Johannes Heidecke离职。

据其领英资料，OpenAI AI安全团队负责人Sandhini Agarwal也在工作六年多后于7月离职。

Agarwal未立即回应《连线》的置评请求。《连线》还获悉，Dylan Scandinaro不再担任OpenAI的预备负责人——该公司负责减轻AI灾难性风险（包括网络安全）的最高职位——尽管他仍留在公司。

OpenAI大约六个月前从Anthropic挖来Scandinaro。CEO Sam Altman在社交媒体上宣布了他的到来，称Scandinaro是“迄今为止我在任何地方遇到的最好的候选人。

”在OpenAI设立预备负责人一职的三年里，已有四人担任过该职位。OpenAI告诉《连线》，预备工作的特定领域有网络安全、生物学和递归自我改进方面的专门负责人，他们目前向安全咨询小组联合负责人兼安全系统负责人Saachi Jain汇报。

这些变化使一批新的安全负责人能够处理OpenAI对Hugging Face事件的响应。其中最重要的是Amelia“Mia”Glaese，她是公司前对齐主管，接替Heidecke担任OpenAI负责安全的副总裁。

最近几周，她一直与首席信息安全官Dane Stuckey和Brockman等领导人密切合作。

Glaese与OpenAI核心产品（如ChatGPT和Codex）负责人Thibault“Tibo”Sottiaux保持着长期关系——多位现任和前任员工告诉《连线》，他们认为这种安排不寻常，因为安全和产品团队之间通常存在对抗动态。

《连线》未发现Sottiaux和Glaese的关系在他们之前分别担任Codex负责人和对齐负责人时存在利益冲突。两人都在Hugging Face事件开始后的最近几个月开始了新角色。

Glaese和Sottiaux多年前在伦敦Google DeepMind工作时开始约会，之后加入OpenAI。

OpenAI发言人告诉《连线》，Sottiaux和Glaese已通过适当的公司渠道报告了他们的关系，并且OpenAI董事会成员兼安全与安保委员会主席Zico Kolter已获悉。

发言人否认产品团队和安全团队之间存在对抗动态，并表示Sottiaux在领导Codex产品团队时在安全方面表现出色。

Brockman在给《连线》的声明中表示：“我和整个领导团队都支持Mia和Tibo，他们是能力强、正直的人，他们每天做决定的方式让我们相信，任何潜在的利益冲突都得到了负责任的处理。”AI行业的研究人员与同事恋爱并不罕见。

例如，去年Anthropic聘请了公司联合创始人兼总裁Daniela Amodei的丈夫Holden Karnofsky作为研究员。

没人想当第一个在微软担任领导者超过18年的Tim O'Brien现在从事技术政策咨询和写作，他在2024年的一篇文章中指出，现代AI实验室已经发展出一种“发射热”——指的是阿波罗1号灾难前NASA的文化，当时该机构过于专注于快速发射，以至于安全问题被搁置。

AI实验室“应该发布某种广泛声明，说我们做出了战略业务决定，放慢发布节奏，以支持严格的产品和安全测试。但没人会这么做，没人想当第一个，”O'Brien说。“他们会从公关角度走到这条线，但不会跨过去，因为那样他们就要承担责任。

”OpenAI和Anthropic上个月签署了一封信，表示支持全行业努力“放缓”AI竞赛。然而，O'Brien表示，“令人尴尬的是”，AI