衡量AGI的进展：认知框架

衡量AGI的进展：认知框架人工通用智能（AGI）有潜力加速科学发现并帮助解决人类一些最紧迫的问题。但很难知道我们距离这个关键里程碑有多近，因为缺乏评估系统一般智能的经验工具。跟踪AGI的进展需要广泛的方法和方法，我们相信认知科学提供了解决难题的重要部分。

这就是为什么今天，我们发布了一篇新论文《衡量AGI的进展：认知分类》，该论文为理解人工智能系统的认知能力提供了科学基础。除了这篇论文之外，我们还与Kaggle合作推出了一项黑客攻击，邀请研究界帮助建立将该框架付诸实践所需的评估。

解构一般情报我们的框架借鉴了心理学、神经科学和认知科学数十年的研究来开发认知分类学。

它确定了10种关键认知能力，我们假设这些能力对人工智能系统中的一般智能至关重要：- 感知：从环境中提取和处理感官信息- 生成：产生文本、语音和动作等输出- 注意：将认知资源集中在重要的事情上- 学习：通过经验和指导获得新知识- 记忆：随着时间的推移存储和检索信息- 推理：

通过逻辑推理得出有效结论- 元认知：

了解和监控自己的认知过程- 执行功能：计划、抑制和认知灵活性- 问题解决：找到特定领域问题的有效解决方案- 社会认知：处理和解释社会信息并在社会情境中做出适当反应为了了解这些认知能力中的AI能力，我们提出了一个三阶段评估协议，该协议将系统性能与人类能力进行基准测试：

- 通过涵盖每种能力的一系列广泛认知任务评估人工智能系统，

使用现成的测试集来防止数据污染- 从人口统计学代表性的成年样本中收集相同任务的人类基线- 映射每个AI系统的性能相对于每个能力中人类性能的分布从理论到实践定义这些认知能力是至关重要的第一步，但我们需要的不仅仅是一个衡量进步的框架。

为了将这一理论付诸实践，我们正在推出一款新的Kaggle黑客游戏--“衡量AGI的进展：认知能力”。黑客专家鼓励社区为评估差距最大的五种认知能力设计评估：学习、元认知、注意力、执行功能和社会认知。

参与者可以使用Kaggle新推出的社区基准平台来针对一系列前沿模型构建和测试他们的评估。我们提供的总奖金池为200，000美元：为五首曲目中每首的前两名提交者提供10，000美元的奖金，为四首绝对最佳提交者提供25，000美元的大奖。

提交日期为3月17日至4月16日，我们将于6月1日公布结果。前往Kaggle网站开始构建。