AI 见闻
精选· 重要性 5/5

Anthropic CEO 澄清立场:不主张全面禁止开放权重模型

Anthropic News··约 8 分钟阅读
中文导读

Anthropic CEO Dario Amodei 发文澄清公司对开放权重模型的立场,反对全面禁令,主张通过芯片出口管制、打击蒸馏和强制安全测试来应对风险。

我们对开放权重模型的立场Anthropic CEO Dario Amodei 撰文过去几天,关于开放权重模型(尤其是来自中国的模型)的讨论很多。有报道称,一些美国官员正在考虑禁止美国公司使用中国的开放权重模型。

作为回应,许多科技公司签署了一封支持开放权重模型的信,有些人甚至指责 Anthropic 想要禁止开放权重模型以保护我们的业务。任何读过我过去文章的人都应该知道,我并不认为此类禁令是有用的措施,但让我明确说明,以免有任何疑问:Anthropic 从未主张禁止开放权重模型。

不具备危险能力的开放权重模型是一种公共产品:除了运行它们所需的算力之外,它们不产生任何成本,并且为企业、开发者和研究人员提供价值。保护主义禁令无法解决我最严重的国家安全担忧。具体来说,我担心两种噩梦场景。

我在六个月前的文章《技术的青春期》中阐述了这些观点,并且多年来一直持有这些立场:- 我主要担心的是威权政府——不仅仅是中国共产党(CCP),尽管 CCP 显然是最有能力的威胁——构建比美国更强大的 AI 模型,并利用它们实现永久军事优势或对其人民进行极其深度的压制。

美国政府内部普遍存在这种担忧:副总统万斯去年在巴黎警告称“威权政权窃取并利用 AI 来加强其军事、情报和监控能力”,情报界 2026 年年度威胁评估发现“其他全球大国在 AI 方面的强劲进展正在挑战美国的经济竞争力和国家安全优势”。

这些模型是否以开放权重发布并不重要,美国企业是否使用它们当然也不重要。事实上,最危险的模型可能是秘密训练、只交给解放军用于无人机、以及交给国家安全部用于监控和压制的模型。- 我的次要担忧是,强大的 AI 模型可能被滥用于网络攻击或生物攻击,并且可能存在严重的对齐问题。

开放权重模型——无论它们来自中国还是其他任何地方——确实可能比封闭模型带来更高的风险,因为很难对其施加护栏或监控其使用,而且一旦权重发布,就无法撤回。但禁止美国企业使用这些模型无助于解决这一风险,因为恶意行为者不太可能是合法的美国企业。

这会保护美国 AI 公司免受竞争,但这从来不是我的目标。为了解决这些担忧,我确实支持以下三项措施,这是我和 Anthropic 一直倡导的:- 我们不应向中国出售强大的芯片或芯片制造设备,并且应打击猖獗的走私和用于获取此类芯片的变通方法。

中国国内生产能力有限,因此,由于 Scaling Law,没有美国芯片就无法构建比美国更强大的模型。这是阻止威胁 #1 最有效、最直接的方法,并且通过阻碍美国法律管辖范围之外的模型训练,也间接有助于应对威胁 #2。

- 我们应打击工业规模的蒸馏操作。蒸馏比从头训练模型计算效率高得多。它使中国能够构建比其芯片数量通常所能实现的更好的模型,从而部分规避芯片禁令。

蒸馏不能让 CCP 获得与美国相当或更优的 AI 能力,但它可以使中国的前沿水平接近美国前沿几个月。确实,许多进行这些操作的公司发布了开放权重模型——但开放权重远不如这些操作背后有寻求在前沿超越美国的威权国家支持这一事实重要。

我们应该采取政策干预来阻止这种行为。全面禁止开放权重模型既不是正确的补救措施,也不是我们所呼吁的。- 所有足够有能力的模型,无论是开放还是封闭,都应通过强制安全测试。解决威胁 #2 的最佳方法是在发布前直接测试模型的网络、生物和对齐风险。

我认为这个想法实际上接近共识:特朗普政府近几个月朝这个方向迈进,以及最近的行业提案(该提案将对最有能力的模型进行此类测试,无论其原籍国或开放/封闭状态,同时完全豁免能力较弱的模型,例如来自初创公司和学术界的模型)都让我感到鼓舞。

开放模型是否构成更高风险,以及这种风险能否被缓解,应该通过测试来确定,而不是预先决定——并且可能有有希望的方法来提高开放权重模型的安全性,包括 Anthropic 最近关于模块化训练策略的研究。

请注意,要有效,测试需要是全球性的,这意味着即使是 CCP 也需要参与。我认为这实际上是可能的:正如我在《技术的青春期》中所写,围绕防止 AI 生物武器的有限合作是可能的,因为这也符合中国的利益。

这让我想到了那封公开信。我同意其中的大部分内容:开放权重扩大了 AI 经济的参与机会,至少在某些用例中增强了竞争,并给予客户更大的控制权。对蒸馏的担忧应通过有针对性的法律和商业框架来解决——与我上面描述的措施相同。

但我不同意这封信的说法,即开放权重模型必然使制定保障措施变得更容易,或者广泛获取能力必然对防御者比攻击者更有帮助。至少在我看来,情况可能相反。

例如,我担心生物学将具有强烈的攻击者-防御者不对称性:足够有能力的模型可能能够利用广泛可用的材料快速将大流行级别的病毒武器化,而防御这些病原体在最好的情况下也是一项多年的操作任务(正如我们在“曲速行动”中看到的那样)。

像这样的问题应该通过严格的发布前测试来实证回答,而不是预先假设。总结我和 Anthropic 的立场:我们没有、也不会主张禁止开放权重模型这一类别。相反,我们应该专注于防止强大芯片落入威权之手,停止工业规模的蒸馏,并要求对所有足够有能力的模型(开放和封闭)进行安全测试。

脚注- 关于滥用权力和生物风险的讨论,分别参见该文章的第 3 节和第 2 节。- 参见英国 AI 安全研究所的这份报告,具体来说:“支撑这些好处的相同开放性排除了封闭模型开发者可以用来检测和阻止滥用、在漏洞出现时迭代保障措施、控制用户访问和撤回模型的许多安全措施。

一旦开放权重模型发布,这些选项将永久丢失:保障措施可以被移除,副本可以被下载、重新分发并在私人系统上运行,超出监控范围。”

对于具有危险能力的模型——包括高度网络能力的模型——开放权重发布因此会产生持续且不可逆转的滥用风险。”- 另请参见此处、此处和此处。

原文出处
Our position on open-weights models

本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。

相关阅读