专家质疑Kimi K3通过蒸馏Anthropic模型获得能力的说法

白宫科学顾问迈克尔·克拉齐奥斯表示，Kimi K3（目前最大的开放权重LLM）背后的中国公司Moonshot通过复制Anthropic的Fable LLM来构建其模型，同时使用了未经批准出口到中国的芯片。

克拉齐奥斯写道：“大规模、隐蔽的工业蒸馏旨在窃取美国专有技术并破坏美国研究，这是不可接受的。”与此同时，有报道称关于禁止中国开放权重模型的讨论已引发AI行业动荡。Moonshot未回应有关其训练过程的问题，克拉齐奥斯也未透露其指控来源的更多细节。

克拉齐奥斯的推文呼应了财政部长斯科特·贝森特的评论：“我们在许多中国模型中发现了美国大语言模型的水印，这是不可接受的。”目前尚不清楚这些水印由什么构成，财政部也未回应查询。

然而，专家们对蒸馏（即查询LLM以了解其内部运作并复制其能力的过程）是否是Kimi K3展现先进能力的原因表示怀疑。

Laude Institute研究员兼Snorkel AI联合创始人布拉登·汉考克告诉TechCrunch：“我不认为在Fable之后仅靠严格蒸馏就能这么快得到如此强大的模型。坦率地说，甚至没有时间，对吧？

Fable直到7月1日才公开可用。

你不可能在两周内蒸馏那么多数据、训练模型并发布。”艾伦人工智能研究所的AI研究员内森·兰伯特在昨天发布的播客中表示：“我一直认为，随着中国模型越来越接近前沿，训练范式转向强化学习，蒸馏的影响力越来越小。

如果是这样，每个人都能通过使用GLM或K3的数据进行蒸馏来轻松赶上它们。但仅靠监督微调，我们还没有看到这种情况。”执行蒸馏需要实验室系统性地查询目标模型，以生成可用于后训练的数据。有时这明确要求模型阐述其思维链以理解其解决问题的方式；

其他时候，模型的提示词和响应被用于监督微调（SFT）来训练新模型。正是这个微调过程可能导致一个表面上由第三方创建的模型声称自己是Claude。在兰伯特看来，微调是“模型习得行为方式”的地方。但兰伯特表示，随着模型变得更加复杂，SFT的好处变得越来越不重要。

要蒸馏出类似Fable的能力，可能需要强化学习技术。

在许多情况下，这意味着让较大模型的智能体对较小模型的响应进行评分，并根据评分进行调整。更先进的技术还需要更重要的基础设施。大型强化学习运行可能需要数千万个智能体。

使用前沿实验室的API来做到这一点“将极其昂贵，并且可能成为时间瓶颈，因为这些模型速度很慢，坦率地说，甚至可能不会带来性能提升。”此前的前沿模型可能对Kimi有所贡献；

Anthropic今年早些时候公开指责Moonshot、DeepSeek和MiniMax系统性地蒸馏其模型。Anthropic表示，它发现其模型与通过IP地址和其他元数据识别的这些公司用户之间存在数百万次交互。

这些查询“与正常使用模式不同，反映了故意的能力提取而非合法使用。”Anthropic未回应TechCrunch关于Fable蒸馏的询问。然而，蒸馏在AI公司中被视为普遍现象，不仅限于中国。

埃隆·马斯克今年早些时候作证说，他的公司SpaceXAI蒸馏了OpenAI模型以开发Grok，并且这种做法在业内很常见。例如，蒸馏与开发合成数据集之间的界限可能相当模糊。汉考克说：“总的来说，美国人低估了这些中国团队的技术专长。

“Moonshot的创始人之一是卡内基梅隆大学的博士生。这些是从事扎实工作的合法研究人员和工程师……如果美国模型停滞不前，我认为中国的进步会放缓，但仍会继续。他们不仅仅是在搭便车。

”此外，很难将蒸馏与克拉齐奥斯评论的第二部分分开——Moonshot获得了先进的Nvidia芯片Grace Blackwell 300，并访问了泰国配备GB300的服务器。乔治城安全与新兴技术中心研究员萨姆·布雷斯尼克表示，这些芯片被禁止出口到中国，但存在黑市。

今年5月，美国服务器制造商Supermicro的创始人因向中国走私先进芯片而被起诉。布雷斯尼克说：“我支持全球数据中心实施了解你的客户法规。如果你让一家公司在你最先进的硬件上进行大规模训练，就需要有一个报告机制来说明该公司是谁以及他们在做什么。

”乔·拜登总统的商务部在2024年提出了联邦数据中心了解你的客户规则，但在唐纳德·特朗普领导下似乎没有进一步进展。然而，向海外运送先进芯片的出口商应确保这些芯片仅用于批准的目的。