LittleLearner：控制知识暴露下的大语言模型能力边界研究

与LittleLearner对话托管的5B模型，可在浏览器中直接运行。若下方聊天未加载，请在新标签页中打开。这是一个受控沙箱，用于研究模型如何获取知识。现代语言模型一次性在全部数据上训练，因此很难判断一项新技能是学习得来的还是仅仅被激发出来的。

我们直接约束训练分布本身：构建了一个880亿token的语料库，过滤至美国小学课程内容，并从头训练模型，同时匹配未过滤的对照组。LittleCurriculum一个880亿token的语料库，通过五阶段过滤流程从FineWeb-Edu中提炼，符合共同核心标准（K-5）。

五年级以上教授的概念、事实和词汇被明确排除在外。LittleLearner三个规模（0.6B / 1.3B / 5B）在LittleCurriculum上从头训练：具有可解释知识边界的可对话模型。

每个模型都配有匹配的未过滤对照组，以便进行清晰比较。激发而非获取在我们的实验中，扩展规模、SFT+GRPO后训练和上下文学习放大了课程所教授的内容，但均未显著提升范围外的表现，表明预训练过滤器设定了有效的能力上限。

模型checkpointLittleLearner提供三个规模（0.6B / 1.3B / 5B），每个都配有匹配的未过滤对照组，共享架构、token和配方。基础：预训练模型。

GRPO：在MathCAMPS上后训练的数学专家；响应可能倾向于数学导向的输出。Chatty：针对通用聊天行为调整的变体。能力停留在课程范围内标准干预能否推动模型超越其预训练数据所教的内容？在边界受实验控制的情况下，我们可以清晰地提出这个问题。

在我们的实验中，每种干预都增强了范围内的能力；但没有任何一种能显著提升范围外的表现。扩展规模扩展模型规模可提高模型在受控知识暴露范围内的性能，并适度扩展到同一学习轨迹上的问题，但对暴露范围之外需要更高级能力的问题几乎没有改善。

MathCAMPS按年级和模型规模的准确率后训练通过GRPO进行后训练显著提升了K-5范围内的能力，但即使使用范围外的数据进行训练，也无法恢复超出K-5范围的能力。后训练放大了K-5能力，而非缩小超出K-5的差距。

上下文学习对于我们训练的5B LittleLearner，使用我们测试的提示词进行上下文学习并未解锁超出K-5的新推理能力。按提示条件的准确率你会教它什么？由于LittleLearner的训练暴露是明确指定的，行为和表征变化可以直接与您引入的概念相关联。

我们兴奋的三个方向：强化学习能否创造能力？

先验被限制在K-5，因此RL下出现的能力可归因于RL过程本身。这是奖励驱动发现的一个易处理的代理。观察概念的学习过程引入负数并测量样本效率、保留率和干扰。或者探测边界附近的行为：它会回答、弃权还是产生幻觉？

机器与儿童学习者指定的暴露使得受控的人机比较成为可能。模型和儿童是否需要相似的暴露来学习分数，或在应用题上犯类似的错误？提出您自己的问题已知的边界将您的想法变成一个干净的实验！

如果您觉得这项工作有用请引用我们的论文：@misc{littlelearner2026,title={LittleLearner:Language Models Under Pedagogically-Controlled Knowledge Exposure},

author={Fanfei Li and Jana Zeller and Manuel Prada-Corral and Thaddäus Wiedemer and Prasanna Mayilvahanan and Ryan Cotterell and Wieland

Brendel},year={2026},eprint={2608.13545},archivePrefix={arXiv},primaryClass={cs.CL},url={https://arxiv.org/abs/2608.13545}}