首次令牌时间（Time to First Token / TTFT）

概述

首次令牌时间（TTFT）衡量 Agent 会话从接受工作到产生第一个响应 token 之间的等待时间，是用户最能直观感受到的延迟指标。

关键内容

定义

TTFT = 从会话接受工作到产生第一个响应 token 的时间间隔。

在 Agent 架构中的意义

在 Agent 系统中，TTFT 受以下因素影响： - 容器配置时间 - 仓库克隆时间 - 进程启动时间 - 从服务器获取待处理事件的时间

脑手分离对 TTFT 的影响

在耦合设计中，每个"大脑"需要一个容器，推理只能在容器配置完成后开始——每个会话都需支付完整的容器设置成本。

脑手分离架构 后： - 容器仅在需要时通过工具调用配置 - 不需要容器的会话可立即开始推理 - 编排层从会话日志拉取待处理事件后即可开始推理

性能改善

Anthropic 报告的数据： - p50 TTFT：下降约 60% - p95 TTFT：下降超过 90%

与模型推理延迟的区别

TTFT 特指 Agent 系统的端到端启动延迟，不同于模型本身的推理延迟。它包含了基础设施层面的所有启动开销，是用户最能感受到的延迟。

来源

• raw/articles/ai-engineering/anthropic-engineering/Scaling Managed Agents_ Decoupling the brain from the hands.md — Anthropic Engineering Blog

相关

• 脑手分离架构 — caused（解耦大幅降低 TTFT）
• Managed-Agents — related_to（Managed Agents 架构优化的关键指标）