Toolformer

概述

Toolformer是由Schick等人提出的模型，能够自学使用工具的语言模型。其核心创新是让模型自己生成工具调用标注，从而减少人工标注数据的需求，通过自监督学习掌握何时以及如何使用工具。

关键内容

1. 核心动机：
2. 标注"何时调用工具、调用参数是什么"的数据成本极高

3. 提出让模型自己生成工具调用标注，实现自监督学习工具使用

4. 技术方法：

5. Step 1：生成候选标注：用few-shot prompt让模型在合适位置插入API调用
6. Step 2：过滤有效标注：计算插入工具调用后后续token的预测损失是否降低

7. Step 3：微调模型：用过滤后的标注数据微调模型，使其学会工具调用

8. 支持的工具类型：

9. Calculator(expr)：数学计算
10. WikiSearch(query)：百科检索
11. MT(text, lang)：机器翻译
12. Calendar()：日期查询

13. QA(question)：问答

14. 关键贡献：

15. 首次证明模型可以自学工具调用
16. 提出了基于损失减少的工具有效性评估标准
17. 在GPT-J 6.7B上超越了更大参数量的GPT-3在某些任务上的表现

来源

• llm-skill-research-series.md — LLM Skill研究系列
• Paper — "Toolformer: Language Models Can Teach Themselves to Use Tools", NeurIPS 2023

相关

• LLM-Skill-技术全景 — relates_to
• Self-Taught-Tools — relates_to
• ReAct — relates_to
• Tool-Use — relates_to
• Self-Supervised-Learning — relates_to