结论先行:Agent 任务的账单大头几乎永远是重复发送的输入 token,不是输出。agentic loop 每一轮都要重发 system prompt、工具 schema 和全部历史,30 轮任务意味着同样的上下文被计费 30 次。所以省钱的杠杆排序是:prompt 缓存 > 上下文瘦身 > 子 Agent 隔离 > 模型分级 > 控制输出长度。很多人优化输出省下的钱,不如缓存命中一轮省的多。
账单结构:一个示意账
假设一次 30 轮的任务,平均每轮上下文 40k token,输出平均每轮 600 token(数字纯为示意,用来说明结构):
- 输入:30 × 40,000 = 1,200,000 token
- 输出:30 × 600 = 18,000 token
主流定价下输入单价通常是输出的 1/5 到 1/10,即便如此输入的绝对开销仍数倍于输出——因为量差了两个数量级。这就是 Agent 和普通聊天机器人成本结构的本质区别:聊天是"每轮发一次对话",Agent 是"每轮重发整个工作现场"。
| 成本项 | 规模(示意) | 占比特点 | 优化抓手 |
|---|---|---|---|
| 重复发送的输入 | 1,200,000 token | 绝对大头 | prompt 缓存、上下文瘦身 |
| 输出 | 18,000 token | 量小价高 | 控制啰嗦、精简返回体 |
| 压缩/摘要的额外调用 | 少量 | 低频但存在 | 用便宜模型做压缩 |
| 子 Agent 探索 | 视任务而定 | 生命周期短 | 隔离 + 限时 + 摘要回传 |
看懂这张表的方向性结论是:所有"省输出"的微优化加起来,往往抵不过"前缀被污染导致缓存全 miss"一次事故。输出侧唯一值得做的系统性优化是控制啰嗦:模型每轮回复里的客套话、复述任务、超长解释都是按输出单价计费的,任务说明里一句"直接给结论,不复述任务"能稳定压低输出长度;工具返回体同理,MCP server 返回三行紧凑文本和一屏原始 JSON,输出差距是数量级的。
杠杆一:Prompt 缓存(最大头)
各主流供应商都支持 prompt caching:请求前缀部分(system prompt、工具定义、历史消息)如果与上次请求相同,命中部分按缓存价计费,通常是输入原价的 1/10 左右,且响应更快。
用好的关键是前缀稳定。对比错误写法与正确写法:
# 错误写法:每轮往 system prompt 注入动态字段,前缀每轮都变,缓存全 miss
system = f"""你是编码助手。
当前时间:{datetime.now()} # 动态
本次会话 ID:{uuid4()} # 动态
剩余额度:{quota} # 每轮变化
{TOOLS_SCHEMA}
"""
# 每一轮的前缀都不同 → 每一轮都按原价计费全部输入
# 正确写法:静态内容在前缀,动态内容放消息尾部
system = SYSTEM_PROMPT + TOOLS_SCHEMA # 逐字节稳定,只在任务首轮付费
messages = [
{"role": "system", "content": system},
*history, # 历史按序追加,不重排
{"role": "user", "content": f"[meta] 时间={now} 额度={quota}"} # 动态放尾部
]
# 前缀命中缓存,按约 1/10 价格计费;动态信息模型也能看到
前缀稳定的具体纪律:system prompt 和工具定义放在最前面且逐字节一致(多一个空格都可能 miss);动态内容(时间戳、随机 ID)绝对不能放进前缀;历史消息按序追加,不重排。缓存失效最常见的工程原因就是 harness 每轮往 system prompt 里注入动态字段。
杠杆二:上下文瘦身
每从上下文里砍掉 1k token,30 轮任务就少计费 30k。上下文管理篇的三板斧直接就是省钱手段:工具输出截断、老轮次压缩、状态外置到磁盘。补充一个容易忽视的点——工具 schema 也占输入:注册 50 个工具的描述可能就是上万 token,按场景裁剪工具集(开发任务不挂浏览器工具)比想象中省得多。瘦身的检查顺口溜:先查最大的工具输出,再查常驻的 schema,最后查历史的探索残骸——顺序按单项体积排,见效最快的先做。瘦身动作和缓存是一对需要协调的矛盾:砍掉的内容如果是前缀的一部分,会打破缓存命中,所以裁剪要尽量作用在历史尾部(近几轮之外的旧工具输出、已完成的探索记录),保持前缀不动;这也是"状态外置"优于"中途压缩"的经济学解释——外置是任务开始前就决定了上下文形状,从头到尾缓存稳定;压缩是中途改变前缀,命中清零重算。
杠杆三:子 Agent 隔离与模型分级
子 Agent 的经济学价值常被低估。探索类工作(找 bug、读大文件)在子 Agent 的独立上下文里进行,主上下文只收摘要——主循环的历史保持精瘦,每一轮的"重发成本"就低。虽然子 Agent 自己也花 token,但它的生命周期短,任务结束就释放,总账往往更便宜。
模型分级则按任务难度分流:探索、总结、格式化交给便宜模型;关键设计决策和复杂编辑留给强模型。简单二八开就能覆盖大部分场景——大多数轮次根本不需要最贵的模型。两个杠杆经常组合使用:scout 子 Agent 整个跑在便宜模型上,主 Agent 保持强模型,总成本与全程强模型相比降幅显著(具体幅度取决于任务构成,给统一数字没有意义)。落地上分级不需要精细的路由器:按 Agent 角色定模型(scout 用便宜档、coder 用主力档、压缩摘要用最便宜档)就是足够好的起点,比"按输入内容动态选模型"的复杂方案更容易维护,效果差距也不大。
算清楚:从 usage 字段开始
一切优化的前提是把账算对。每次 LLM 响应都带 usage 字段,harness 应该全量记录并聚合:
{
"usage": {
"input_tokens": 41200,
"output_tokens": 580,
"cache_creation_input_tokens": 38000,
"cache_read_input_tokens": 21000
}
}
# 聚合一天的 trace,按缓存命中率看优化空间
jq -s '{calls: length,
input: (map(.usage.input_tokens) | add),
cache_read: (map(.usage.cache_read_input_tokens) | add),
output: (map(.usage.output_tokens) | add)}' traces-*.json
三个指标盯住:缓存命中率(cache_read / 总输入,健康值随任务形态不同,趋势向下就是前缀被污染了)、单任务总 token(同任务跨周对比,膨胀说明上下文管理退化)、每任务成本分布(找出最贵的那 10% 任务,通常一个失控循环就能占掉一半预算)。
最后提醒一句:省 token 不是目标,是手段。为了省钱把上下文砍到模型看不到关键信息,返工成本远超省下的 API 费。优化的正确终点是"单位有效产出(跑通的测试、合入的 PR)的成本"下降。
实战场景
一次很有代表性的成本排查:月底账单环比涨了近一倍,但任务量没涨。从 trace 的 usage 字段入手,按任务聚合后发现最贵的一个任务占了全月不成比例的份额(比例为示意性描述,不给绝对值),展开它的 trace:这个任务的 system prompt 里被 harness 注入了"当前剩余额度"字段,额度每天变化,导致缓存前缀每天失效;更糟的是任务内每轮的工具 schema 顺序不稳定(序列化未排序),连"当天内命中"都没有做到。修复只改了两行:动态字段挪到消息尾部、工具 schema 序列化加稳定排序。次月账单回落,缓存命中率曲线从接近零恢复到正常水位(趋势描述,具体百分比以各自 trace 为准)。这件事的教训值得记住:成本异常不一定是"任务变难了",先查缓存命中率——它是最灵敏的工程退化信号,比账单本身早一个月报警。
检查清单
- 每次响应的 usage 字段全量落盘,能按任务/按天聚合
- system prompt 与工具 schema 前缀逐字节稳定,动态字段一律放消息尾部
- 工具 schema 序列化顺序稳定(排序后再输出),避免同轮内缓存 miss
- 缓存命中率作为日常指标监控,趋势向下先查前缀污染
- 工具集按场景裁剪,开发任务不挂无关工具的 schema
- 探索类工作派给子 Agent 并用便宜模型,主循环保持精瘦
- 每月看每任务成本分布,最贵的前 10% 任务逐个回放归因
- 优化的验收口径是"单位有效产出的成本"下降,不是 token 总量最小