谷歌解雇Timnit Gebru的LLM警告如今全部成真

Timnit Gebru 于 2020 年 12 月因拒绝撤回一篇研究论文而被谷歌解雇，而该论文针对大型语言模型提出的每一条警告，如今都以行业花了四年时间试图让人们忘记的规模发生了。她的名字叫 Timnit Gebru。

她是谷歌道德人工智能团队的共同领导者。她与华盛顿大学的 Emily Bender 和另外两名研究人员共同撰写了一篇名为《论随机鹦鹉的危险》的论文。这篇论文有 14 页长，已提交给顶级人工智能道德会议。

这正是谷歌决定让人工智能研究领域最资深的黑人女性之一不再在那里工作的原因。谷歌公开讲述的故事是她辞职了。而她讲述的故事——得到了 2,695 名同事在一封公开信中的证实——是她在度假期间被电子邮件解雇，因为她拒绝撤回这篇论文或将自己的名字从其中删除。

这篇论文甚至还没有发表。以下是她实际写的内容，以及为什么其中的每一个预测现在都成真了。第一个警告是关于规模本身的。Bender 和 Gebru 认为，在互联网上越来越大的数据片段上训练越来越大的模型，会产生看起来很流利但对语言没有实际理解的系统。

他们称这些系统为随机鹦鹉，因为它们会以统计置信度和零理解力重复训练数据中的模式。

该论文预测，这种表面上的智能会欺骗用户和开发者，让他们相信那些在结构上无法可靠的输出。那是 2020 年，GPT-3 刚刚问世。在有人用词来形容幻觉问题之前，这篇论文就预测了幻觉问题。第二个警告是关于偏见放大的。

该论文详细记录了互联网规模的训练数据包含主导观点的系统性过度代表和边缘化观点的代表性不足。这些模型不仅会吸收这种偏见，还会放大它，因为优化过程奖励自信的输出，而对语言模式的信心会跟踪训练集中的频率。

预测是，基于这些模型构建的招聘工具会歧视女性；医疗分诊工具会在黑人患者身上表现不佳；贷款审批系统会加剧不平等，同时将其决定呈现为中立的算法判断。这些事情中的每一件现在都在部署中得到了记录。亚马逊的招聘算法会惩罚任何上下文中包含“女性”一词的简历。

美国主要医院使用的医疗风险评分算法被发现系统性地低估了黑人患者的医疗需求。Apple Card 的信用算法给妻子的信用额度比相同财务状况的丈夫低 10 倍。第三个警告是关于环境成本的。

该论文计算出，训练单个大型语言模型产生的排放量相当于 5 辆汽车的终身排放。预测是，规模竞赛将产生最终与整个行业相媲美的环境足迹。2024 年，谷歌的排放量比 2019 年增加了 48%，该公司明确将责任归咎于人工智能基础设施。

出于同样的原因，微软的排放量增加了 29%。两家公司现在都悄悄放弃了 Gebru 被解雇那一年公开庆祝的气候承诺。第四个警告是关于文档记录的。该论文认为，正在组装的训练数据集太大，任何人都无法真正审计。

Google、OpenAI、Meta 或任何其他实验室中没有人能自信地告诉你他们的模型所训练的数据中包含了什么。这不是一个可以稍后解决的暂时问题，而是该方法的一个永久特征。

2023 年，研究人员发现，用于训练 Stable Diffusion 和其他主要图像模型的 LAION-5B 数据集包含数千张儿童性虐待材料的图像。在数据集上进行过训练的公司无法知道这一点。

该论文在发现这种故障的三年前就预测了这种类型的故障。第五个警告是谷歌最关心的。Bender 和 Gebru 认为，这些系统的部署将把语言和文化权力集中在少数有能力训练它们的公司手中。

互联网将成为一个主导声音是主导声音的统计平均值、并作为中立助手呈现的地方。随着这些系统生成更多的网络内容并反馈到下一次训练运行中，训练数据中代表性不足的语言将会退化。这现在正在实时发生。2024 年的一项研究发现，57% 的新英文网络内容是人工智能生成或人工智能辅助的。

研究低资源语言的研究人员记录了翻译质量的主动下降，因为反馈到训练中的合成内容本身在这些语言中就更差。谷歌因她预测模型崩溃问题而解雇她的论文，如今模型崩溃已有了名字。这一切发生背后的机制是她作品中没有人引用的部分。

Gebru 的论点并不是说人工智能在某种抽象科幻意义上是危险的，而是说人工智能在非常具体的结构意义上是危险的。这项技术是由一小群背景相似、在相似公司工作、并因比竞争对手更快地交付产品而获得奖励的研究人员开发的。

这种激励结构使得安全、伦理和偏见问题无法减缓任何进展。系统内任何提出这些担忧的人要么被忽视、被边缘化，要么被移除。她是在谷歌内部提出这一论点的，然后谷歌通过移除她证明了她的正确。

谷歌为确保其人工智能安全而建立的团队在 90 天内就被解散了，因为他们完成了被雇佣来做的工作。道德人工智能团队的另一位联合负责人 Margaret Mitchell 在 Gebru 被解雇两个月后被解雇，原因是在自己的电子邮件中搜索 Gebru 受到如何对待的证据。

Gebru 没有停下来。她于 2021 年创立了 DAIR（分布式人工智能研究所）。其使命是在那些因不听到答案而具有经济利益的公司控制之外进行人工智能研究。随机鹦鹉论文中的每一项预测现在都已通过部署得到验证。

幻觉是最大的实验室无法解决的全行业问题。偏见放大已在招聘、医疗、贷款和刑事司法中得到记录。环境成本比整个小国还要大。训练数据审计仍然不可能。模型崩溃是每个主要实验室面临的研究危机。值得思考的问题是业内几乎没有人会大声说出来的问题。

每一位在技术上具有可信度来指出这些问题的研究人员都目睹了 2020 年 12 月发生在她身上的事情，并对自己的职业生涯进行了计算。那次解雇后，愿意公开谈论主要人工智能实验室内安全和伦理问题的人数急剧下降，至今仍未恢复。

谷歌因警告当前正在发生的事情而解雇的研究人员是正确的。

解雇她的公司现在是她所警告的技术的第二大部署者。而公司内部同意她观点的人也不允许这么说。阅读本文。所讨论论文的链接在此：https://dl.acm.org/doi/epdf/10.1145/3442188.3445922