InstructGPT

概述

InstructGPT 是 OpenAI 在2022年推出的一种语言模型训练方法，通过对 GPT-3 进行人类反馈[强化学习]进行对齐训练，使模型更好地遵循人类指令。

关键内容

1. 技术创新：
2. 采用RLHF（Reinforcement Learning from Human Feedback）技术
3. 通过人类偏好数据训练奖励模型，再使用该奖励模型进行策略优化

4. 显著提升了模型的指令跟随能力、真实性和无害性

5. 历史意义：

6. 2022年的RLHF对齐训练标志着模型真正开始服从自然语言指令
7. 使Prompt开始具有"可重复"的效果，为Prompt Engineering的发展奠定基础

8. 作为ChatGPT的技术前身，展示了对齐训练对实用AI系统的重要性

9. 技术影响：

10. 验证了通过人类反馈改进模型行为的可行性
11. 为后续所有基于大模型的应用提供了可重复、可预测的交互范式
12. 推动了AI对齐(AI Alignment)研究领域的发展

来源

• ai-engineering--01_prompt_engineering — 技术土壤部分提及
• GPT-3 — 基于GPT-3的技术改进

相关

• GPT-3 — extends
• ChatGPT — predecessor
• Prompt-Engineering — enabled
• OpenAI — created_by