GPT-3

概述

GPT-3（Generative Pre-trained Transformer 3）是由 OpenAI 开发的第三代生成预训练变换模型，于2020年发布。它是首个真正展示"few-shot learning"能力的大规模语言模型。

关键内容

1. 技术里程碑：
2. GPT-3 首次展示了在不进行梯度更新的情况下，仅通过提供少量示例就能完成各种自然语言任务的能力
3. 证明了 LLM 能够从示例中推断任务意图，为 Prompt Engineering 的诞生奠定了基础

4. 模型参数规模超过1750亿，展现了参数规模与涌现能力之间的关系

5. 关键贡献：

6. 展示了大规模语言模型的零样本、少样本学习能力
7. 证明了 In-Context Learning 的可行性
8. 为后续 ChatGPT、InstructGPT 等模型的发展铺平了道路

9. 激发了 Prompt Engineering 作为一门专门技术领域的发展

10. 影响：

11. 开启了 Prompt Engineering 时代，证明了通过精心设计的自然语言指令可以引导模型产生高质量输出
12. 展现了参数规模超过临界点后出现的涌现现象，推动了大模型研究的发展

来源

• ai-engineering--01_prompt_engineering — 技术土壤部分提及
• In-Context-Learning — 相关概念

相关

• Language-Model — part_of
• OpenAI — created_by
• Prompt-Engineering — influenced
• InstructGPT — predecessor