Thinky发布Inkling:975B参数开放权重多模态模型,美国最强Apache 2.0开源模型
Thinking Machines Lab发布其首个完全开放权重的多模态基础模型Inkling(975B总参数/41B激活),采用MoE架构,支持文本、图像、音频输入及1M上下文窗口,成为美国最强的Apache 2.0开源模型,但部分基准仍落后于中国顶尖开源模型。
[AINews] Thinky ' s Inkling:975 B-A41 B多模式,新最佳美国阿帕奇2。0开放型号(含Inkling-Small,276 B-A12 B)Thinky的第一个完整的LLM版本是一个重磅炸弹和额外奖励:它是开放重量!
Thinky似乎每隔几个月才会出现一次;最近的一次是互动模型-但每次它们都给人留下了深刻的印象,既展示了品味又展示了深度。
今天,他们推出了Inkling --不是SOTA模式,而是一个非常可靠的美国基准开放模式新家族:我们的模型名为Inkling,是一款Mixture-of-Experts Transformer,总参数为975 B,活动参数为41 B。
它支持最多100万个令牌的上下文窗口。它是在45万亿个文本、图像、音频和视频标记上进行预训练的。
它是不同尺寸模型系列中的第一款:与此同时,我们还分享了Inkling-Small的预览,这是一种重量较轻的模型,具有12 B活动参数,采用类似的配方训练,可以以更低的成本和延迟实现强劲的性能。
对文本、图像和音频进行自然推理,并通过高效且可控的思维努力平衡成本与性能Huggingface细分涵盖了一些有趣的技术亮点:AI新闻2026年7月14日至2026年7月15日。我们检查了12个subreddits、544个Twitter用户,没有进一步的Discords。
AINews的网站允许您搜索所有过去的问题。提醒您的是,AINews现在是潜伏空间的一部分。您可以选择加入/退出电子邮件频率!
人工智能Twitter回顾发生了什么Thinking Machines Lab推出了Inkling,这是其首款完全发布的开放重量基础模型家族产品,将其定位为可定制的多模式基础模型,而不是基准最大旗舰。
Thinking Machines宣布Inkling是一个开放权重模型,可以“在文本、图像和音频模式之间进行有效推理”,其Tinker平台和Playground @thinkymachines上提供完整权重并立即提供支持。
米拉·穆拉提(Mira Murati)将Inkling描述为该公司的“第一个模特”,“从头开始训练”,在Tinker @miramurati上进行开放重量训练和当天微调。
Soumith Chintala将其定义为Thinking Machines的“第一个通用模型”,强调开放权重、975 B参数、原生多模式以及Tinker、Hugging Face和合作伙伴@soumithchintala上的可用性。
约翰·舒尔曼(John Schulman)添加时间轴背景:预训练去年冬天开始,从一月中旬开始,一个小团队在@ johnschulman 2上进行编码、推理和代理培训。
Lilian Weng将Inkling描述为一个基础模型,旨在“在广泛的能力类别中实现稳定的性能”,旨在实际使用和定制@ lilianspel。
TML工作人员一再强调,这是第一天的发布,也是未来迭代的基础,而不是他们最后的前沿推送@soumithchintala、@cHHillee、@keirp1。
该版本在vLLM、SGLang、Modal、Baseten、Databricks、Hugging Face和量化/社区工具中获得了异常广泛的0日生态系统支持@vllm_Project、@lmsysorg、@modal、@ besten、@Yuchenj_UW、
@huggingface、@Danielhanchen。独立评论员立即将其标记为美国最强的。
S. - 迄今为止,基于开放重量发布,但总体上仍然落后于一些基准@natolambert、@ guardicialAnlys、@scaling01上的中国顶级开放重量和最佳封闭模型。
核心事实和规格模型大小、形式、许可、背景在大多数帖子中,Inkling被报告为975 B总参数/41 B活跃参数@soumithchintala、@vllm_Project、@ guardicialAnlys、@kimmonismus。
一条推文写着974 B @Yuchenj_UW,另一条推文写着952 B @multimodalart;推文集中的压倒性共识是~ 975 B。这是一个专家混合模型,每个代币有41 B活跃参数@ DeliveraLinML。
它是Apache 2。0根据多个反应和摘要获得许可@natolambert、@Yuchenj_UW、@multimodalart。它支持文本、图像和音频输入,文本输出@soumithchintala、@ TheRundown AI、@ JournicialAnlys。
开权重检查点支持多达1 M context @vllm_Project、@lmsysorg、@ guardicialAnlys。Tinker/API上下文被描述为256 K,64 K和256 K上下文的定价有所不同@ DelivericialAnlys。
培训和发布详情TML表示Inkling是从头开始训练的@miramurati、@LiorOnAI。
社区读者从发布材料@eliebakouch、@ guardicialAnlys中提取了45 T训练代币,而一篇帖子则显示48 T @mervenoyann。该数据集中重复的数字是45 T。
Inkling包括可控推理努力/数字努力水平@LiorOnAI、@ TheRundown AI、@Danielhanchen。Tinker客户强调简洁的推理和强大的工具调用,而不是追逐@tinkerapi、@MichaelElabd的最大原始基准。
建筑细节在反应中浮现几个技术素养的反应从版本中提取了建筑选择:混合/滑动窗口关注,本地与全球层比为5:1,窗口大小为512@eliebakouch,@ariG23498。相对位置编码/相对注意力偏见,而不是RoPE;
多个海报称这是最新颖的大规模选择之一@stochasticchasm、@eliebakouch、@rasbt、@arohan、@ChangJonathanC。在注意力/FFN流周围添加了短卷积层;
评论者将此标记为短convs @eliebakouch、@stochasticchasm、@rasbt、@SonglinYang4的异常扩大使用。
MoE与汇共享专家/ 2名共享专家,被认为是不典型的,因为最近许多MoE使用1名共享专家@eliebakouch,@ariG23498。DeepSeek风格的辅助无损失负载平衡在@eliebakouch架构的社区读物中被引用。
从文章中推断出muP和Muon/重量衰减变体,并得到优化器专家反应的证实:Aaron Defazio表示他们正在使用他纠正的重量衰减方法,“MuonC/AdamC”@aaron_defazio,而社区读者还指出muP @stochasticchasm,@Laz4rz。
vLLM @vllm_Project重点介绍了8个用于推测性解码的STP头部。变体Inkling-Small被多次提及为即将推出或单独讨论的较小型号@LiorOnAI、@ uncaintaxesTex。
社区总结将Inkling-Small描述为276 B总数/12 B活跃,并且在几个评估中与较大的模型相比具有意想不到的竞争力@eliebakouch,@nrehiew_。
业绩和基准独立基准框架人工分析公司说,Inkling在智力指数上排名第41位,是美国智力指数中的领先者。
S.开放重量发布,领先于Nemotron 3 Ultra(38)、Gemma 4 31 B(29)和gtt-oss-120 b(24)@ guardicialAnlys。
人工分析还表示,Inkling平均每个智力指数任务输出25,000个代币,而GLM-5则为43,000个代币。最大2,Kimi K2为38 K。6,DeepSeek v4 Pro最大值为37 K,将其定义为相对代币高效的@ JournicialAnlys。
Natolambert称其是“Nemotron Ultra的明显进步”和“新的最佳美国型号”,但仍然“有点落后于GLM 5”。2在代理长凳上,Kimi K2。6关于多模式”@natolambert。
Design Arena表示,Inkling以第9名Elo 1257的成绩进入了Actutic Web App Arena,与Claude Opus 4在同一个乐队。双子座6号
5 Flash,并称其为美国排名最高的。S. - 针对代理工作负载的基于开放权重模型@DesignArena。Arena在@arena发布日将Inkling添加到Agent Arena /文本/ Vision / Code Arena。
引用的具体基准数字来自人工分析:GDPval-AA v2 Elo 1238,高于Kimi K2。6(1190)和DeepSeek v4 Flash max(1189)@ DelivericialAnlys。
T ³-银行业24%,高于Kimi K2。6(21%),略高于DeepSeek v4 Flash最大值(23%)@ DelivericialAnlys。定性性能需要积极的:“尖锐而简洁”的推理,而不是胡言乱语@MichaelElabd。
强大的工具调用和对代理任务进行良好的长期错误恢复@MichaelElabd。良好的“心态”/不谄媚的味道@skirano,@tinkerapi。
Alex Kirillov声称Inkling避免了许多omni模型中常见的“音频=情报惩罚”,尽管另一位用户要求提供更强有力的支持证据并基准@alex_kirillov、@giffmana、@alex_kirillov。
多个混合
本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。