LATM

概述

LATM（Large Language Models as Tool Makers）是由Cai等人提出的概念，提出双LLM架构来实现工具制造和工具使用的分离。该方法利用强推理能力的模型制造工具，用较小模型使用工具，从而在保证质量的同时降低成本。

关键内容

1. 双LLM架构：
2. Tool Maker（如GPT-4）：负责接受任务描述并生成Python工具函数
3. Tool User（如GPT-3.5）：接受任务和工具函数，调用工具完成任务

4. 工具库（Tool Cache）：存储可复用的工具函数

5. 核心创新：

6. 工具制造需要强推理能力（用GPT-4）
7. 工具使用可用更小的模型（用GPT-3.5），降低推理成本

8. 同类任务只需制造一次工具，后续批量复用

9. 工具制造过程：

10. 输入：若干同类型任务的示例
11. GPT-4生成可复用工具函数

12. 后续同类任务直接调用此工具，无需GPT-4参与

13. 实验结果：

14. 在Big-Bench Hard（BBH）任务集上，LATM优于纯GPT-4 CoT
15. 成本约为纯GPT-4的1/7

来源

• llm-skill-research-series.md — LLM Skill研究系列
• Paper — "Large Language Models as Tool Makers", ICLR 2024

相关

• LLM-Skill-技术全景 — relates_to
• Tool-Making — relates_to
• Dual-LLM-Architecture — relates_to
• Tool-Reuse — relates_to