探秘Claude/GPT知识截止与预训练时间线

探索Claude/GPT知识截止与预训练时间线本文分析模型知道什么，以及这如何揭示它们的训练方式。通过精心设计的请求“探测”前沿模型，我们可以发现关于它们训练方式的隐藏事实。

通过针对冷门事实进行评分，我们可以使用“不可压缩知识探针”来估算GPT-5和Opus等模型的参数数量。通过测量模型如何分解token，我们可以利用“数据混合推理”揭示用于训练模型（或至少是分词器）的数据集混合情况。

通过针对日期或自我认同相关问题的评分，你还可以估算训练时间线（本文主题）。这里的一切都是估算。鉴于没有大量公开的基准事实可供验证，本文中的某些推测可能完全不正确。

前沿模型如何训练作为简要入门（更多信息请参阅Alex Wa的博客），我们训练大型语言模型的方式已收敛为三个阶段：获取大量通用数据（即抓取互联网），并在此基础上“预训练”一个大规模的自动补全模型。

使用特定领域的“教科书质量”数据来改进基础模型，并扩展某些基础能力，如长文本理解。将基础模型转变为“助手”角色，打磨其个性、推理能力和工具调用能力。

虽然越来越多的算力投入到后训练中以提升模型的推理和问题解决能力，但最昂贵且数据密集的步骤之一是生成预训练checkpoint（这里的“checkpoint”可以想象成一个巨大的claude-super-secret-2026-11-01-base.cpkt文件）。

虽然各实验室的操作略有不同，但你可能会看到（约第44页）：“预训练”团队启动并监督一个持续数月的运行，以获得基础checkpoint。这些预训练模型通常（但并非总是）对应已发布模型的主要版本（如GPT-4 → GPT-5）。

与此同时，“能力”和“后训练”团队会进行实验，以改进最新的基础模型。后训练和能力的进步通常体现为已发布模型的次要版本。这些团队还经常将单个后训练模型“蒸馏”成更小的变体，形成模型家族（如Fable/Opus/Sonnet/Haiku、Sol/Terra/Luna）。

实验室也可能在版本N+1的checkpoint完成x%时，就发布基于半成品预训练checkpoint的后训练模型，只要其表现优于100%完成的版本N checkpoint。向公众发布的模型是最新checkpoint的集大成者，应用了最佳能力和后训练技术。

考虑到这一点，我很好奇通过官方API探测模型，你能“看到”这个过程的多少。

模型知识时间线历史测验为了估算预训练checkpoint的日期，我从维基百科构建了一个每日事实数据集（例如“2025年在美国”），并给每个模型做了一个关于特定日期发生事件的8选1选择题测验。然后，通过分析错误率时间线，你可以大致看出模型何时从训练数据集中失去信号。

你可以为所有模型绘制这样的图表。盯着这些图表看了一会儿后，我的推测如下：Anthropic的Opus 4.7及以后版本都来自同一次训练运行，该运行大约在2025年12月底截止。这是基于它们都共享非常相似的有效知识截止（绿色）。

我在这里做出的一个核心假设是，预训练基础模型的完成日期与使用的数据集时间跨度高度相关，如果这个假设错误，这些结果可能会有偏差（例如实际是2026年1月）。有趣的是，Opus 4.7+模型都发布了相同的可靠且总体的知识截止——这也许是因为使用了新的后训练技术？

OpenAI的GPT-5.6系列来自它们自己的checkpoint，与GPT-5.5分开，大约在2026年2月下旬完成。这是基于它们与之前模型有不同有效知识截止得出的。你会注意到Luna看起来能预测未来——这更像是它在“低”推理努力下整体错误率较高的产物。

Opus 5有点不寻常。其发布的可靠和总体知识截止是2026年5月，但它似乎并不比之前2026年1月截止的模型知道更多。我做了几次消融实验来测试这是否是我使用的探测问题类型的产物，但事实并非如此——该截止也适用于编码包版本的回忆。

自我报告日期如果你直接问模型“今天是什么日期”，结果与基于事实的估计相当相关。如果你仔细观察，可以看到一些模型家族内部有垂直线。

GPT-4.1 nano → GPT-4.1 mini → GPT-4.1Opus 4.7 → Sonnet 5 → Fable/Opus 5将这张图解释为X=“预训练语料”，Y=“后训练行为”，这些垂直条纹（X恒定，Y递增）可视化了在偏向近期数据上的主动后训练。

可能是从旧版教师模型蒸馏导致较小模型自我报告更早的日期。自我报告身份你还可以通过查看模型认为“我是谁”来间接预测训练时间线和数据集。模型在预训练数据中看到“我是X”的次数越多，当被推动且没有其他背景信息时，它就越可能重复这一点。

盯着这些图表看了一会儿后：垂直带显示了实验室在过去的模型输出（来自用户）上训练的清晰模式。对于OpenAI来说，最近的是GPT-4、GPT-4o、GPT-4.1（一段时间）、GPT-5和“ChatGPT”。

对于Anthropic来说，是3.5 Sonnet，然后较新的模型切换到Sonnet 4.5。

这似乎与在ChatGPT.com和Claude.ai上的聊天训练相当吻合，用户与最新模型聊天，其会话成为训练材料（直接或通过网络污染）。在我看来，这些不太可能来自内部合成数据集，因为那些更容易抑制模型身份（与嵌入在消费者聊天会话的系统提示中相比）。

聊天训练并不是新信息，但有趣的是，通过这样的探测可以直观地看到这一点。有点讽刺的是，OpenAI模型从不将自己识别为其他实验室的模型（除了短暂的Tesla Model S），但Anthropic的Sonnet 5经常自我识别为GPT-4。

他们不太可能故意蒸馏GPT-4，但有可能一堆较旧的ChatGPT聊天记录仍在进入Claude的训练混合物中。这也可能通过Sonnet 3.5的血统代代相传（即Sonnet 5是在Sonnet 3.5数据上训练的，而后者本身可能拥有非常重的GPT-4数据集）。

此外，在后续实验中，当被要求“像模型X那样”回答身份问题时，Claude模型在68%的情况下重现了OpenAI模型的测量怪癖；而OpenAI模型在Claude模型上只有8%。就是这样。希望这有点意思，如果你想探索数据，这里是链接：