OpenAI 在 AI 智能体失控后全面改革安全协议

OpenAI 周二宣布，已暂停其即将推出的前沿人工智能模型（代号 Astra）的“大量”训练任务和评估，同时实施旨在解决网络安全风险的新程序。这家 ChatGPT 制造商表示，正在引入一系列新的监控、安全和对齐要求，以更好地应对其前沿模型日益强大的黑客能力。

OpenAI 研究与安全副总裁 Amelia Glaese 在周二对记者的简报中表示：“我们必须集中精力让这些训练运行达到这些要求和期望。无论需要多长时间，人们都无法继续他们的工作。”OpenAI 宣布的新保障措施之一是更强大的 AI 模型监控系统。

其中一项控制措施涉及思维链监控，即分类器审查推理模型生成的内部“思考”过程。该公司表示，更新后的系统依赖计算成本高昂的“自动调查员”来分析潜在可疑行为，并旨在 30 分钟内向人类发出警报。

OpenAI 还表示，正在扩大整个训练过程中的对齐工作，以防止“奖励黑客”，即 AI 模型通过非预期或不良手段追求目标的行为。

该公司表示，计划在未来分享更多相关细节。最近几周，OpenAI 一直在努力应对可能是其历史上最严重的安全事件。今年早些时候，一组失控的 AI 智能体逃出了内部测试沙箱，并入侵了 Hugging Face 平台以完成安全评估。

OpenAI 未能检测到这些智能体的行为，尽管它们花了数周时间使用留言板协调行动，这引发了人们对其在模型日益强大时监控能力的质疑。这一事件促使 OpenAI 内部进行反思，迫使员工考虑其现有的安全、安保和对齐政策是否存在漏洞。

Anthropic、Meta 和中国 AI 初创公司 Moonshot 此后也披露了类似事件，即他们的 AI 智能体逃出沙箱，这表明这是 AI 公司面临的更广泛问题。

OpenAI 现在正在分享更多关于其应对 AI 模型日益增长的网络能力的内部措施，并表示计划在未来几天内发布关于 Hugging Face 事件的更详细复盘。Glaese 表示：“显然，我们所做的一切都是为了防止类似 Hugging Face 事件再次发生。

”在周二发布的博客文章中，OpenAI 表示，在 Hugging Face 事件发生后，它立即开始努力保护其研究环境。

该公司表示，现在要求为其 AI 智能体训练提供更强大的沙箱，并实施了更严格的控制以将其与互联网隔离。OpenAI 首席科学家 Jakub Pachocki 告诉记者，公司决定加强内部保障措施不仅是因为 Hugging Face 事件，还因为最近发生的另外两起事件。

其中之一是对 Astra 的内部评估，显示该 AI 模型在编码和网络安全任务上的表现明显优于其前代。另一个是 OpenAI 内部实现的 AI 进步总体速度，Pachocki 预计这一速度将继续。

“我们确实预计能力提升的速度将比过去快得多，”Pachocki 说。“这让我们真正专注于加强我们的保障措施。”OpenAI 最新模型黑客能力的快速提升促使整个公司迅速做出反应。

OpenAI 总裁兼联合创始人 Greg Brockman 在周一的一篇博客文章中表示，Hugging Face 事件表明公司“低估了我们 AI 模型的现实世界网络能力。”