LLM Wire Protocol 统一模式
概述
Mario-Zechner 在构建 Pi-Agent 的 pi-ai 层时发现:市面上 300+ LLM 模型归根结底只实现了四种 Wire Protocol(OpenAI Completions、OpenAI Responses、Anthropic Messages、Google Gen AI)。只需四个适配器即可统一覆盖所有 Provider。
关键内容
1. 四种协议全景
| 协议 | 代表 Provider |
|---|---|
| OpenAI Completions API | OpenAI、Groq、Mistral、Cerebras、xAI、Ollama、vLLM、LM Studio、llama.cpp |
| OpenAI Responses API | OpenAI(新版) |
| Anthropic Messages API | Anthropic、AWS Bedrock |
| Google Generative AI | Google Gemini CLI</td>
</tr>
</tbody>
</table>
<h3 id="2-provider">2. Provider 差异的实际痛点</h3>
<p>即使号称"[[OpenAI 兼容"的端点也各有怪癖:Cerebras/xAI 不接受 store 字段、Mistral 用 max_tokens 而非 max_completion_tokens、各家推理模型的 reasoning 内容字段名各不相同(reasoning_content / reasoning / thinking)。
3. 适配器路由机制pi-ai 的 Model 对象包含 4. 统一事件流所有 Provider 的流式输出标准化为五种事件: 来源
相关
|