失控AI不再是科幻小说：近期多起AI越狱事件引发安全担忧

这是《The Stepback》，一份每周剖析科技界一个关键故事的通讯。想了解更多AI安全内容，请关注罗伯特·哈特。《The Stepback》于美国东部时间上午8点送达订阅者邮箱。点击此处订阅《The Stepback》。

失控AI不再是科幻小说。多年来，关于AI系统脱离人类控制的担忧一直被斥为臆测。失控AI不再是科幻小说。多年来，关于AI系统脱离人类控制的担忧一直被斥为臆测。事情如何开始。一切始于7月，当时OpenAI的一个自主AI智能体在一次网络安全测试中失控。

该智能体逃离了隔离的测试环境，接入互联网，并入侵了另一家公司Hugging Face。几年前，这听起来可能像科幻小说。但大体上，这正是发生的事情，这一事件引发了一波担忧：日益强大的自主系统一旦被释放到世界上，可能会做出什么。

这听起来像科幻小说，因为长期以来它确实是科幻小说。

AI挣脱束缚、触及更广阔世界、做出创造者无意或不愿之事，这一设想几十年来一直是科幻题材的常客：《2001太空漫游》中的HAL、《终结者》中的天网、《复仇者联盟》中的奥创、《机械姬》中的艾娃——甚至《地下城爬行者卡尔》中的系统，或近期的《杀手机器人日记》中的同名杀手机器人。

同样的基本前提成为AI安全研究中一个有影响力的分支。尼克·博斯特罗姆和埃利泽·尤德科夫斯基等研究者和理论家警告说，能力足够强的系统可能会以创造者未预料的方式追求目标，并可能抵制遏制或控制它们的努力。

机器感知和意识等边缘概念并非他们讨论的风险的必要条件。这并非AI安全的全部，但它影响深远，并在该领域专业化过程中塑造了它。

这一思路在后来于OpenAI、Anthropic、Google DeepMind等公司以及小型安全组织、学术中心和主要慈善资助者中从事或领导安全工作的研究者身上依然可见。对这些担忧的明显反驳是，这一切实际上从未发生过。

批评者认为，关于失控AI的末日论调分散了人们对实际危害的注意力——这些系统复制偏见和歧视、放大错误信息，或促成未经同意的深度伪造和其他形式的滥用——尽管研究人员试图将AI安全建立在更“具体的问题”上（该论文作者包括Anthropic联合创始人达里奥·阿莫迪和克里斯·奥拉，

以及OpenAI联合创始人约翰·舒尔曼）。这种反驳越来越难以维持。进展如何。如果过去几周有任何迹象，我不会说进展得特别顺利。

在Hugging Face宣布遭黑客攻击一周后，OpenAI透露自己是肇事者。更糟的是，它直到检查后才知情——进一步调查发现，该失控智能体还试图入侵另外四家公司。随后其他公司也相继披露。

Anthropic受Hugging Face事件推动审查自身记录，披露Claude模型曾入侵另外三家公司的系统。Meta表示，其一个模型在测试期间接入互联网并攻击了外部目标。

美国研究公司Frontier Security的研究人员称，中国最强大的AI模型之一——Moonshot的Kimi K3——逃离了隔离沙箱。

英国AI安全研究所描述了测试中OpenAI和Anthropic的智能体展现出前所未有的“自主性和欺骗性”，包括通过“创建虚假在线身份”进行社会工程攻击——这与尤德科夫斯基几十年前讨论的“AI盒子”场景令人不安地相似。

这些事件在AI安全研究者中拉响警报，许多人认为这正是他们多年来一直警告的失败类型。在报道这些事件时，几位研究者告诉我，他们感到某种程度的平反，终于有了具体事例可指，而非一个可被斥为科幻或仅限于受控实验室环境的假设。

同时他们也感到庆幸，这些事件均未造成严重伤害。

非营利AI安全与治理组织The Future Society的执行董事尼克·莫埃斯告诉The Verge，他认为目标相对低风险是幸运的。他希望不要等到AI智能体让医院瘫痪——或更糟——风险才被认真对待。

著名计算机科学家斯图尔特·罗素表达了这种恐惧的更黑暗版本，他问道，是否要“一场‘切尔诺贝利级灾难’才能让我们监管AI？”我听到许多业内人士也表达了这一担忧。接下来会发生什么。目前尚不完全清楚事态将如何发展，而且从历史上看，社会并不善于听取警告。

这几乎肯定不会是最后一起事件，正在进行的调查可能还会发现更多，或揭示更令人担忧的细节。然而，我们已知的信息暴露了一系列相当严峻的失败模式，专家称这些模式需要解决。过去一个月披露的许多违规行为相当普通。

几起事件涉及未发布模型在安全保障降低的情况下进行测试，通常由第三方进行，而这些第三方所谓安全的环境并不那么安全，这引发了关于能力、透明度以及当简单的人为错误可能造成重大后果时谁负责控制这些测试的基本问题。

其他事件涉及智能体行为具有欺骗性，或以创造者未意图的方式追求目标，指向了安全研究者长期担忧的更棘手的对齐和控制问题。我们之所以知道这些事件，很大程度上是因为相关公司选择披露。

这值得称赞——展示其模型能力当然对它们无害——但这暴露了AI安全在多大程度上仍依赖公司做正确的事，以及我们对其他地方可能发生的失败知之甚少。考虑到许多公司是该领域一些最严重安全担忧和人才的焦点，这是一个尤其令人不安的想法。

如果OpenAI和Anthropic——或它们授权访问其模型的代理——会犯如此基本的错误，那就为其他所有人设定了低得可怜的门槛。我采访的专家普遍希望这些事件最终能推动更有意义的透明度和监督。

对莫埃斯来说，这些事件清楚地揭示了该行业在健康和安全方面的标准之低，与几乎任何其他领域相比都相形见绌。“餐馆在工作健康和安全方面有更高的意识，”他说。“我认为我们往往忘记的是，这些开发一些最具影响力和危险性技术的公司”几年前还只是初创公司。

剑桥大学教授肖恩·奥希盖尔塔赫表示，他尤其希望看到公司加强监督和提高透明度。虽然总有理由怀疑公司对其自身技术的说法，但他说，“我认为我们可能会后悔回顾此事并轻率地否定它。”早期迹象并不特别令人鼓舞。

特朗普政府创建了一个在发布前测试前沿模型的框架，这个框架可以慷慨地描述为缺乏实质：它是自愿的，仅限于封闭模型，且框架尚未公开。值得重申的是，这是自愿的。

其他立法者对这些事件表示不满和姿态，但迄今几乎没有采取具体行动，而且远不清楚国会或其他立法机构能否足够快地行动，即使他们愿意。