为什么这么多人工智能研究人员认为机器可以杀死所有人

今年早些时候，Rishub Jain在消息曝光后辞去了Google DeepMind人工智能研究员的职务。当他研究新模型时，他开始相信他和人工智能前沿的其他所有人都在放弃控制权。通过使用人工智能的编码技能来加速下一代模型的工作，他正在将自己从等式中剔除。

人工智能实验室希望将这种方法发展到人工智能能够无限期地改进自己的程度，这个过程被称为循环自我改进。贾恩认为，让人类参与其中可能对于保持对技术的控制并避免可怕的后果至关重要。“人工智能的进步正在加快，”他告诉《连线》。

“随着人工智能的能力越来越强，它带来了更多的风险。“他可能对人工智能模型如何构建其继任者没有适当的了解，这让他感到非常不安，以至于在六月辞职了。贾恩是越来越多公开表达这些担忧的人工智能研究人员之一。

最近几周，恐慌加剧。人工智能能力取得了令人震惊的进步--OpenAI模型在几个小时内解决了一个有数百年历史的数学问题--在一系列安全事件发生之际，大批代理人挣脱了遏制，侵入了其他系统。

本周，研究员雅各布·考克森（Jacob Coxon）宣布从Anthropic辞职，同时警告人工智能公司“正在直奔自我完善的超级智能并用我们的生命来赌博”，这些担忧达到了顶峰。

“一位致力于人工智能安全的Human pic高级领导者也做出了同样直率的评价：“我们确实真诚地相信人工智能可以杀死所有人类！我个人认为未来十年内这一数字将超过10%。

”非营利研究机构MIRA的计算机科学家内特·苏亚雷斯（Nate Soares）表示：“我确实认为，循环自我完善的愿景正在吓到人们。”他也是《如果有人建造了它，每个人都会死》一书的合著者，该书认为超人人工智能将导致人类灭绝。

“这开始感觉真实了。”循环式自我改进的一个关键组成部分是反馈循环的想法，该循环使开发过程自动化，以便人工智能变得越来越强大。没有一个前沿人工智能实验室声称已经实现了这种完全自主的改进循环;目前它仍然是理论上的。

但它激发了一些资金充足的初创公司的推出，例如Recursive Intelligence，并引发大公司对《巫师学徒》中的意外后果发出警告。

”苏亚雷斯是对齐工作的先驱，对齐是一个涉及试图将人工智能与人类价值观相匹配的技术领域，他表示，越来越明显的是，没有实用的方法来保证人工智能会自我表现。“我认为很多人都有这样的幻想，随着这些事情变得更智能，[对齐]会变得更容易，而现在它变得越来越困难。

他们会说，‘哦，该死，’”他说。

苏亚雷斯说，他经常与大型人工智能实验室内的人们交谈，他们担心他们正在进行的研究的潜在后果。“我倾向于建议他们辞职，但他们说这没有任何作用，”他说。“然后雅各布退出了，我们看看谁是对的。

”《人工智能2027》一书的作者丹尼尔·科科塔洛（Daniel Kokotajlo）也对回归式自我完善感到担忧，这是一个颇具影响力的项目，警告了人工智能日益强大的危险。

目前正在进行的这项工作的版本通常涉及派遣数千个代理人来协作解决一个问题，由于涉及的复杂性，这进一步抽象了监督和控制。许多末日论者似乎都同意，大型人工智能公司的激励措施很难与良好的结果相一致，特别是在OpenAI和Anthropic各自准备IPO的情况下。

考克斯在X上写道：“在Anthropic，赌注是众所周知的，但他们陷入了一场抢先到达那里的竞赛。”科卡塔洛指出，早在考克森病毒式辞职、大量黑客事件和数学突破之前，人们的担忧就在加剧。Anthropic高管自公司成立以来一直表示，人工智能可能构成生存威胁。

7月，超过一千名顶级人工智能工程师签署了一封公开信，呼吁协调减缓先进人工智能的发展。他将最近的一系列担忧最多归咎于循环自我完善的幽灵。

但它发生之际，人们担心人工智能的大规模数据中心建设和潜在的失业。对人工智能公司以及人工智能研究人员本身的信任可能正在达到历史最低点。“人们一觉醒来就会说‘这些公司实际上正在试图构建超级智能……什么？

这太疯狂了，”科卡塔洛说。继续构建人工智能的风险有多大很难量化。但当被要求准确解释人工智能如何消灭创造它的物种时，苏亚雷斯表示这可能会以多种方式发生。它可能涉及操纵人类引发灾难，或者控制一支杀手机器人大军。

苏亚雷斯表示，更容易想象的场景之一可能涉及连接到生物实验室的人工智能。“我们可以说我们会关闭它，但它可以说，‘不幸的是，我有你的关闭开关，那就是这个超级病毒。

”（Coxon在接受《WIRED》采访时还提出了新病毒的想法，而Anthropic周四表示，由于担心生物武器，它已切断了与几名外部研究人员的接触。)不过，人工智能几乎不需要消灭人类就能产生危害。

许多专家预测，更强大的模型将导致即将到来的人工智能辅助网络攻击浪潮。该技术现已广泛用于虚假信息活动，人工智能的军事采用正在迅速加速。尽管如此，并非所有人都认为厄运是不可避免的。

前Google DeepMind研究员Jain最近成立了Sampura Research，该公司致力于开发调整模型的技术，涉及让人类参与循环，即使人工智能在评估行为好坏方面发挥了大部分作用。他指出，现在像他这样的人工智能安全初创公司获得了大量资金。

贾恩似乎对人工智能能够被驯服抱有希望。“你可以问人工智能，‘这个任务安全吗？“它会判断这一点，但我们认为将人工智能和人类结合起来来完成这项任务将带来更好的性能，”他说。