脑电波能否成为物理AI数据瓶颈的突破口？

物理AI的前沿阵地，是加州圣莱安德罗一间仓库里的叠叠乐游戏。这间仓库属于Encord，一家为训练AI模型构建数据工具的公司。

Andrew Ceja是一名“飞行员”——这是该公司对机器人训练员的称呼——他正小心翼翼地从摇摇欲坠的塔中抽出木块，头上戴着一副带有摄像头的耳机，追踪他所看到的一切。仅此一点对于收集机器人训练数据来说相当常见，但这副耳机还配备了传感器，在他仔细拆解积木塔时测量他的脑电波。

Encord是少数但不断增长的初创公司之一，它们押注人形机器人和仓库机器人的下一个真正瓶颈不会是模型架构，而是现实世界物理训练数据的极度稀缺。Encord不仅仅帮助机器人公司管理已有的数据，更围绕制造它们所没有的数据来构建业务。

Ceja佩戴的脑电波耳机由德国神经科学初创公司Zander Labs制造，该公司押注测量大脑活动——以推断错误、意图和惊讶等心理状态——可以创建更有用的数据集来训练模型。Encord与Zander的合作目前是试运行；

Encord表示，目标是构建一个初始的脑电波标记数据集，通过客户机器人模型运行，并在决定是否扩大规模之前评估它是否真的能提升性能。

负责监督这项工作的Zander神经科学家Lucas Gehrke表示，在给定任务中任何时刻使用的大脑活动量，为模型构建者提供了线索，帮助他们判断何时需要部署最高强度的模型。

Encord机器人学习主管Vineeth Velmurugan称，这是解决机器人数据瓶颈工作的“最前沿”。Velmurugan是OpenAI机器人实验室和仓库自动化公司Berkshire Grey的资深人士，他加入Encord是为了组建公司内部的数据创建团队。

Encord成立的初衷是帮助构建机器视觉应用的公司标注数据和评估模型。随着他们的客户——Velmurugan表示他们与许多领先的机器人公司合作，但未被授权透露其名称——开始将端到端学习应用于机器人操作任务，高管们意识到他们必须自己生成训练数据，而不仅仅是管理数据。

“数据根本不存在，”Velmurugan说。生成式AI能为机器人做的事情，就像它为聊天机器人所做的那样，这一赌注不断撞上同一堵墙。LLM建立在整个互联网的文本之上，甚至更多。

要找到同样的原材料来教神经网络关于物理操作的知识，极具挑战性：自动驾驶汽车公司自己收集数据，但这很难规模化。从视频中训练可以奏效，但缺乏真实世界数据的保真度。

Velmurugan表示，需要大约YouTube视频库五倍大小的数据集才能取得突破——这一规模有助于解释为什么数据生成本身已成为一项业务，而不仅仅是一个研究问题。

满足你的自我中心数据需求构建机器人大脑的公司现在转向两个主要来源：由佩戴摄像头的工人收集的“自我中心”视频，通常辅以额外的摄像头角度和其他指标；以及从远程操作的机器人收集数据。

Encord两者兼顾，从全球多个工厂获取自我中心数据，并利用其圣莱安德罗设施试验脑电波等新模态，或收集围绕特定技能的数据集进行微调。

当TechCrunch到访时，飞行员们正在使用“领导者-跟随者”装置——成对的机械臂，一个由人类操作员直接控制，另一个模仿其动作——来创建关于任务的数据，例如将咖啡从壶中倒入杯子（非常晃荡）和堆叠扑克筹码。

“每个人形机器人公司都向我们索要这些零件，”Velmurugan说。储物架上放着花瓶里的假花、书籍、塑料蔬菜、猫砂托盘和勺子、袋子和成捆的电线，这些都是训练机械手完成家务任务的常用物品。

在其中一个工位，另一位飞行员Sofia Infante操纵机械臂从服务器后部插拔以太网电缆——如果机器人能以所需的精度操作它们，数据中心操作员会非常希望这类工作实现自动化。

亲自操作一番后，我明白了为什么这仍然遥不可及：钳子远不如人类手指灵巧，并且缺乏我们习以为常的手臂自由度。Encord正在开发的另一种新数据模态，使用绑在前臂上的一组传感器来检测肌肉中的电信号。

拍摄人手操作物体的视频通常无法捕捉整只手，但Velmurugan希望基于手臂传感器构建手部在任何时刻位置的3D描绘，从而为模型创建更鲁棒的理解。Encord的数据集标注了每个视频内容的物理描述——“右手拧紧螺栓”——以帮助基于LLM的模型理解正在发生的事情。

Velmurugan估计，对于训练特定任务，这种密集标注的价值是“垃圾自我中心数据”的100倍，而生成成本仅高出20倍，理论上这是一笔不错的交易。

但“20倍以上”仍然是真金白银，这就是问题所在：从互联网上抓取文本——就像LLM制造商通过从Stack Overflow和网络其他地方提取内容来构建模型那样——对前沿实验室来说成本几乎为零。

生成物理训练数据则不然，这就是将物理AI类比为LLM的局限所在。这类数据必须被制造，而不仅仅是收集，这改变了构建这些模型的经济性。

Velmurugan表示，进展正在取得——凭借Encord对整个行业项目的可见性，他能够看到初创公司和前沿实验室都在摸索哪些方法有效、哪些无效，以改进物理AI模型。这个有利位置——同时处于多家机器人公司之间——也是Encord卖点的一部分。

它能在任何单个客户之前发现哪些数据技术正在全行业获得关注。这将让Encord设施中的十几名飞行员忙碌不已。Infante和Ceja都是开发神经网络构建模块的新兴劳动力的一部分；在加入Encord之前，他们曾在另一家AI数据标注公司Scale工作。

Ceja曾在一家废物管理公司工作，他对技术的兴趣使他负责维护一台机器人垃圾分类机。现在，随着叠叠乐塔倒塌，他说他很享受解决机器人训练任务的挑战——“每天都有新东西！”