成本驱动架构

概述

一种在AI Agent系统设计中将Token成本作为一等约束的架构设计理念，将Token消耗视为传统软件工程中的CPU时间，指导系统各组件的设计和优化决策。

Token成本为核心约束：Anthropic作为API的提供者和消费者，对Token成本的感受是双重的，这直接塑造了架构决策，Token成本是AI Agent的"CPU时间"。
缓存优化策略：包括14个cache-break向量追踪、DANGEROUS_uncachedSystemPromptSection()警告机制等，确保最大化利用Prompt Cache。
自动熔断机制：如autoCompact熔断功能，通过三行代码解决了每天25万次无效API调用的问题，体现了针对成本的精细化管理。
内存管理优化：采用MEMORY.md指针设计（150字符/行的索引），而非全量数据加载，平衡性能与成本。