涌现能力

概述

当模型规模达到临界点时，出现的训练时未明确教授的新能力。

关键内容

1. GPT-3 发现：1750 亿参数的 GPT-3 涌现出推理、代码生成、数学计算等能力。
2. 规模效应：涌现能力与模型规模呈非线性关系，小模型不具备这些能力。
3. 科学意义：涌现能力挑战了传统机器学习理论，引发了关于 AI 智能本质的讨论。

来源

• ai_papers_timeline.md — 2020 年时间线条目

相关

• GPT 系列 — demonstrated_by
• 少样本学习 — relates_to