法国AI初创公司ZML发布免费推理加速软件，支持多种芯片

英伟达无与伦比的市场主导地位尚未终结，但挑战者和替代选择正从四面八方涌现。ZML 是一家热门的法国 AI 初创公司，得到了图灵奖得主 Yann LeCun 的认可。

该公司发布了推理性能软件，允许各种开源大语言模型在多种芯片上运行——包括 Nvidia、AMD、Google TPU、Apple Metal 和 Intel Arc。

ZML 创始人 Steeve Morin 告诉 TechCrunch，通过新推出的 LLM 推理服务器 ZML/LLMD，公司的目标是打破现有孤岛，让不同芯片以最大可用速度（有时甚至更快）服务于 AI 用例。

Morin 表示，随着 AI 融入我们的工作和日常生活，优化推理（即处理提示词）的重要性已超过模型训练，但幕后往往感觉零散，软件和架构障碍导致供应商锁定。在各种芯片上实现峰值性能的承诺是一项技术壮举，但在人们对 AI 相关成本日益担忧的背景下，这也可能成为市场颠覆者。

ZML 希望为企业和云服务提供使用混合芯片的选项，其中一些芯片可能成本更低或能耗更少。Morin 说：“我们的想法是让人们重新拥有创建自己系统的能力，并实现真正的效率提升，从而推动 AI 的普及。

”

Morin 观察到，这种软件辅助可能有助于新兴的 AI 芯片制造商，其中许多恰好来自欧洲，他列举了 Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud 和 VSORA。

但对他来说，比产地更重要的是 ZML 能与他们合作“做世界上任何地方都未曾做过的事情”。这并不意味着 Morin 看空英伟达。他并非如此，部分原因是英伟达现有的供应。他告诉 TechCrunch，ZML 与这家 AI 芯片巨头关系良好，而英伟达也一直在为推理的兴起做准备。

推理领域投资如此密集，以至于这一趋势被称为“推理淘金热”。因此，ZML 面临竞争，例如最近估值 130 亿美元的 Baseten；来自开源项目 vLLM 创建者的 Inferact；以及 SGLang 背后的商业公司 RadixArk。

vLLM 和 SGLang 都与 LLMD 存在部分竞争，但 Morin 对 ZML 的雄心涵盖更广的范围。他说：“我们已经达到了共同设计芯片的阶段。”他进一步指出，ZML 仅有 20 人的精干团队是这家巴黎初创公司能够快速行动的原因，未来还有更多发布计划。

这个小团队规模虽小，但资金充足，这也是一大优势。

凭借他曾担任 Zenly（Snapchat 于 2017 年以九位数价格收购）工程副总裁的经历，Morin 从 Harry Stebbings 的 20VC、>commit、AALVC、Drysdale Ventures、

Xavier Niel 的 Kima Ventures、Kindred Capital、LocalGlobe 和 Puzzle Ventures 等风投公司筹集了 2000 万美元。

与 ZML 的第一个公开项目（2024 年发布并于 3 月更新的以推理为中心的 ML 框架）不同，ZML/LLMD 并非开源。但它作为免费产品推出，旨在了解使用情况。

Morin 说：“我宁愿在最有效的地方进行衡量并[随后创收]，而不是因为从一开始就过于贪婪而愚蠢地阻碍我的增长。”现在判断 ZML/LLMD 何时可能成为付费产品以及其采用情况还为时过早。

但该初创公司的股东名单证实，其他创始人也在关注，包括 Dagger 和 Docker 创始人 Solomon Hykes、Hugging Face 的 Clément Delangue 和 Julien Chaumond，以及现在在 AMI Labs 的 LeCun。

这也证明了欧洲的 AI 初创公司现在可以在本土发展。Morin 说：“除了巴黎，我在任何地方都无法创办 ZML。”