用便宜100倍的开放权重模型在检索上击败前沿模型

“大多数团队最好的训练数据就躺在他们的数据库里。问题在于，把原始数据变成可用的东西很难，而让智能体以低成本大规模地阅读、搜索和修改数据，需要先进的基础设施。把Castform指向Neon，这两步都省了。

”Ying Hang Seah，Castform联合创始人一个“好智能体”需要在两个方面表现出色：- 上下文：我们能否提供工具来找到正确的数据？- 模型：模型能否决定搜索什么？Neon（Lakebase Postgres）及其新的Search扩展解决了第一个问题；

Castform解决了第二个问题。智能体搜索的演变大约在2022年，业界全力投入嵌入向量搜索。每个数据库提供商都加了这个功能，pgvector是Neon下载量最大的扩展。为了给LLM提供上下文，工程师们手工构建RAG管道，本质上就是某种形式的嵌入向量相似性搜索。

大约在2025年，智能体开始获得更多关注。开发者开始创建多跳搜索工作流，把大问题分解成小问题。检索已经从一次性搜索系统转向智能体检索。模型不再发出单一查询，而是在循环中多次规划和搜索。每次循环迭代都意味着对前沿模型的又一次调用，增加了每个用户请求的总体成本和延迟。

具体来说，一个典型的用gpt-5.6-sol的多轮搜索请求需要超过10秒，端到端成本约0.03美元，慢得让人望而却步，贵得离谱。与此同时，小型开放权重模型便宜100倍。

但是，开箱即用时，它们的能力落后于封闭API模型。RL后训练有助于弥合这一差距。在搜索等特定任务上，经过后训练的开源模型可以匹配甚至击败前沿模型，同时每次请求的成本低几个数量级。

这就是我们构建Castform的原因：让开发者能够对模型进行RL后训练，而无需处理机器学习和GPU内部细节。目标是让后训练像提示词工程一样平易近人。Castform如何使用Neon？

Castform的管道通过Lakebase Search在Neon上运行：你最好的训练数据已经存在要有效地进行RL后训练，你需要一个任务（例如，回答用户的问题）、智能体运行的环境（例如，针对你的语料库的搜索工具）和一个奖励函数（例如，答案是否正确？

）。有了这三样东西，RL后训练就是一个试错循环：模型在给定工具的情况下尝试任务，奖励函数对尝试进行评分，反馈信号指导模型如何爬山式地达到最优性能。然而，大多数公司并没有一个干净的任务和奖励函数数据集准备好用于后训练。

企业确实拥有大量专有数据：- 内部文档- 产品记录- 支持文章- 客户互动- 维基- 运营数据库这些数据包含智能体所需的知识，但将其转化为有效的训练数据集通常需要大量的数据工程和手动标注。这导致许多团队出于以下两个原因之一而放弃后训练：- “我们没有训练数据。

”- “微调太难了，需要我们没有的基础设施。”Castform解决了这两个问题。它将现有语料库转化为训练任务，然后管理教授开源模型如何有效使用这些数据所需的RL循环。

使用Castform使用Castform，你可以将公司知识库转化为模型：- 文档（来自你的数据）：通过Navan预订的火车将由GitLab旅行卡支付。火车乘坐必须是标准舱位，预订提前期为14天- 基本事实（从你的数据中推断）：火车乘坐必须是标准舱位，预订提前期为14天。

- 问题（合成生成）：在Navan预订铁路旅行时，我需要提前多久预订，以及我应该选择哪个座位级别？有了生成的问答数据集，Castform允许你通过指定智能体可以访问的工具和奖励函数来搭建训练运行的框架。

奖励函数指定了你希望模型擅长什么。

在我们的案例中，我们希望它检索正确的块，引用正确的来源，并提供正确的最终答案。在此处查看全面的代码示例。可观测性：观察模型学习Castform让你对RL运行有完全的可见性。

你可以监控每一步的奖励攀升，但更重要的是，你可以深入到单个任务/提示词中，观察模型的定性表现，从而调试诸如工具损坏或奖励黑客等问题。关于如何监控训练运行的更多细节，你可以查看Castform博客。

你也可以在这里查看我们的示例训练运行。为什么Neon“开箱即用”在训练期间，智能体反复调用Lakebase Search，直到有足够的上下文来回答。在数千个并行rollout中，每个都可能进行数十次调用，这产生了高度突发的工作负载。

Neon的动态计算扩展吸收了这些峰值，而无需Castform全天候按最大容量配置。训练运行在需求高峰时获得低延迟搜索，而在空闲期间计算规模缩小。随着智能体超越搜索并开始修改数据，这种基础设施变得更加有价值。

训练有状态智能体需要隔离环境，这些环境可以廉价地创建和重置，防止一个rollout的动作影响另一个或触及生产环境。

Neon的分支功能可以为每个rollout提供隔离的数据库状态，而时间旅行查询可以重建和检查智能体遇到的状态。结合自动扩展和缩容到零，这为训练数千个有状态智能体rollout铺平了道路，而无需维护数千个持续运行的环境。

Castform让任何开发者都能轻松地对开源模型进行后训练，使其比前沿模型更便宜、更快、更好。今天就到castform.com对你的第一个模型进行后训练吧。