AI 见闻
精选· 重要性 4/5

芯片初创公司XCENA获1.35亿美元融资,押注AI瓶颈在内存而非计算

TechCrunch — AI··Kate Park·约 5 分钟阅读
中文导读

韩国和美国初创公司XCENA设计了一款将计算能力靠近DRAM的芯片,旨在解决AI推理中的内存瓶颈,其B轮融资1.35亿美元,估值5.7亿美元。

每次你向ChatGPT提问,你的请求都会触发一场数据接力赛。信息离开内存,经过CPU预处理,传到GPU进行大量计算,然后再返回——AI生成的每个单词都要重复这一整套流程。瓶颈是结构性的——这意味着每次请求都要经过业内一些最昂贵、最耗电的芯片。

这种低效正是XCENA(一家在韩国和美国设有办事处的初创公司)试图解决的问题。这家成立四年的初创公司设计了一款芯片,将计算能力更靠近DRAM——处理器正在使用的快速短期存储芯片——从而允许在内存附近处理常规数据操作,无需在CPU、GPU和内存之间进行昂贵的往返。

如果它能大规模运作,对AI基础设施成本的影响可能非常显著,这很大程度上解释了投资者对该公司的热情。事实上,XCENA刚刚在B轮融资中筹集了1.35亿美元,估值为5.7亿美元,使其总融资额达到1.85亿美元。

XCENA首席执行官Jin Kim于2022年与首席技术官Dohun Kim和首席产品官Harry Juhyun Kim共同创立了这家初创公司,他们都是三星和SK海力士的资深人士,这两家存储巨头为英伟达的GPU提供芯片。

“几十年来,CPU和GPU都变得越来越智能,但内存从未改变。XCENA想要改变这一点,”Jin Kim在接受TechCrunch采访时表示。

“最近内存价格和相关股票的上涨表明AI基础设施正在更广泛地转向以内存为中心的架构,”他补充道。(本月,主导全球内存芯片市场的三家公司——三星、SK海力士和美光——的估值均首次突破万亿美元。

)XCENA将其业务押注于“推理不仅仅是一个计算问题,它越来越成为一个内存扩展问题,”Kim说。XCENA的芯片MX1通过CXL(Compute Express Link)连接到CPU——本质上是处理器和内存之间的专用快速通道——在数据需要离开内存模块之前就进行处理。

它将计算带到数据所在之处,而不是相反。该公司声称,过去需要10台服务器的工作量可能只需一台就能运行。

“虽然GPU擅长矩阵乘法——AI模型训练背后的繁重数学——但大部分周围的数据编排,包括预处理、KV缓存管理(存储先前对话上下文以便模型不必重新处理的系统)和数据缓存,仍然在CPU上运行。我们的芯片直接在内存模块内部处理这些任务,”Kim说。

自去年下半年以来,对内存解决方案的需求激增,该公司相信时机对其有利。与多家全球内存供应商的对话仍处于早期阶段,但Kim拒绝透露他们的姓名。

该公司的理想客户是每年在AI基础设施上花费数百亿美元的超大规模云服务商,即使内存效率的微小提升也可能意味着数亿美元的节省。MX1仍然是原型。量产芯片计划于2026年底前从三星的代工线上下线,该公司预计从2027年开始产生收入。

虽然神经处理单元(NPU)制造商正在竞相挑战英伟达的训练工作负载,但XCENA瞄准的是位于所有层之下的内存密集型层。XCENA最接近的竞争对手包括Astera Labs和Marvell,这两家纳斯达克上市公司都在研究下一代内存连接。

Kim说,Marvell是一家已经在同一领域工作的大型成熟公司,并补充说差异在于知识产权。“我们有数千个核心,”Kim说。相比之下,根据公开规格,Marvell的方法依赖于少数通用核心。

这些核心基于RISC-V(一种开源芯片设计蓝图)构建,并专门针对数据处理进行了优化,每个核心都刻意保持小型和高效。除了核心本身,XCENA还设计了自己的内部内存层次结构、互连总线和DRAM控制器——这是一种大多数芯片公司(包括规模较大的竞争对手)通常外包的垂直整合水平。

总部位于首尔的风险投资公司Atinum和IMM Investment与Corstone Asia以及现有投资者SBI Investment和Mirae Asset Capital共同领投了B轮融资。

该公司在首尔郊外的科技中心板桥和森尼韦尔拥有90多名员工,目前也在与国际投资者就额外融资进行洽谈。

原文出处
This chip startup just raised $135M on a bet that AI’s biggest bottleneck isn’t compute — it’s memory

本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。

相关阅读