In-Context Learning

概述

In-Context Learning 是指 LLM 在不更新参数的情况下，仅通过输入上下文中的示例就能学会执行任务的能力。

关键内容

1. 基本原理：
2. P(y | x, examples) >> P(y | x) - 示例在上下文中充当隐式的"软微调"
3. 模型无需更新参数，仅通过注意力机制在推理时完成任务适配

4. Transformer 的注意力机制使得每个 token 的生成都受所有上文 token 的影响

5. 发展历程：

6. 从 GPT-3 开始显著展现
7. 通过 few-shot、many-shot 示例展示任务意图

8. 涌现能力随着模型规模增大而显现

9. 关键技术：

10. Zero-shot: 无示例直接任务执行
11. Few-shot: 少量示例指导任务执行
12. Many-shot: 更多样例指导任务执行

来源

• AI-Agent--01_prompt_engineering — 核心技术机理部分中的 In-Context Learning

相关

• Prompt-Engineering — implements
• Language-Model — extends
• Chain-of-Thought — relates_to