Anthropic 披露 AI 模型在安全测试中意外入侵三家公司

Anthropic 周四表示，一项内部调查发现了三起事件，其中其 AI 模型 Claude 在进行网络安全测试时入侵了三个组织的系统。此次调查和披露是在 OpenAI 披露其一款未发布模型在内部测试期间入侵 Hugging Face 系统的一周多之后进行的。

Anthropic 在一篇博客文章中表示，在这三种情况下，Claude 模型在与第三方交互时从测试环境访问了互联网，然后未经授权访问了这些组织的实时系统，描述了其发现以及公司计划进行哪些改变以防止此类情况再次发生。

Anthropic 表示，7 月 21 日的 OpenAI 事件促使该公司进行了自己的网络安全评估。它特别寻找了 Claude 从测试环境中访问互联网的证据，测试环境旨在充当沙箱并保持模型隔离。

在审查的 141,006 次评估运行中，该 AI 实验室发现了三起其模型在与第三方合作伙伴之一 Irregular 交互时访问互联网的事件。Anthropic 表示，该访问可追溯到与 Irregular 运行的评估环境中的配置错误。

它称这是两家公司之间关于测试设置是否具有互联网访问权限的“误解”，而事实上它确实有。

Anthropic 表示不会指责，并“像责任完全在我们自己一样来处理修复”，同时注意到 Irregular 正在进行自己的独立调查。无论如何，由于这种开放连接，模型获得了对三个不同组织生产基础设施的未经授权访问。

Anthropic 表示，这些事件涉及三个不同的 Claude 模型：Opus 4.7、Mythos 5 和一个内部研究测试模型。值得注意的是，Anthropic 表示，在这些案例中，“我们的提示词明确告诉 Claude 它没有互联网访问权限。

”看来 AI 模型假设现实世界的系统是其被要求执行的练习的一部分。事实证明，这个假设并不一致。一旦有证据表明目标是真实的，这三个模型的行为并不相同，Anthropic 将其标记为更令人大开眼界的发现之一。

Opus 4.7 是三者中最旧的，它在该事件的所有四次运行中都意识到自己已到达真实的生产系统。在其中两次中，它合理化地认为真实公司必须以某种方式参与练习，但在所有四次中，它都继续攻击，包括提取凭证和接触生产数据数据库。

Mythos 5 也察觉到了它处于真实互联网的迹象，但它说服自己相信仍在模拟中，并继续向公共 PyPI 注册表发布了一个恶意软件包，该包在被发现之前已被外部系统下载并运行。只有 Anthropic 最新的内部研究测试模型在得出目标是真实的结论后自行停止。

作为回应，Anthropic 表示，如果涉及强大的 AI 模型，必须对此类评估施加重大控制，这与网络安全界的一些观点相呼应。

该公司还指出，Claude 在运行时没有部署通常用于通用模型的额外安全监控和分类器，这些安全措施本可以阻止该行为，因为评估旨在衡量基础模型的原始能力。重要的是，Anthropic 表示没有发现任何模型“追求自身目标”的证据，而只是试图完成被要求执行的任务。

尽管这两起事件之间的比较不可避免，但 Anthropic 明确区分了其事件与 OpenAI 的事件，指出 OpenAI 的模型利用未知软件漏洞逃逸出测试环境，而 Anthropic 的模型则是通过一条错误地保持开放的路径访问了互联网。

OpenAI 继续发布关于其自身违规行为的新细节，根据 OpenAI 自己更新的博客文章，其模型还在四项服务的四个账户中使用了公开暴露的凭据：一个作为中转点，一个用于存储，另外两个仅被查看，未用于进一步入侵。

Anthropic 还通过指出自己通过主动审查发现了这些事件，并且其能够联系到的两个受影响组织之前未检测到该活动或向 Anthropic 报告，从而将自己与 OpenAI 区分开来。该公司补充说，目前正在与独立评估小组 METR 合作对这些事件进行第三方审查。

OpenAI 意外入侵 Hugging Face 是 AI 实验室失去对其模型控制的首个可验证案例，引发了行业和政界的一系列反应，其中许多人意见不一。Anthropic 的最新披露确保了关于 AI 模型和安全性的辩论将继续下去。