结论先行:凡是"固定前缀 + 变化尾巴"的调用(多轮对话、固定 system prompt、大知识库 RAG),前缀缓存都能大幅省输入成本——OpenAI 自动缓存命中部分约打对折(具体折扣随模型不同),Anthropic 显式缓存读命中约 1 折、写入加收 25%。它是纯架构调整,不改模型、不改业务逻辑,却被大量团队忽略。核心规则只有一条:公共内容放前面,且一个字符都别变。

原理:复用已经算过的 KV Cache

回忆推理的两笔账:prefill 计算量 O(n²),KV Cache 占显存。如果两次请求的前缀完全相同,那段前缀的 KV Cache 根本不用重算——服务端按前缀匹配,命中后直接复用,只对新尾部做 prefill。省下的主要是计算和延迟,厂商把它折成价格优惠返还给你。这也是它和数据库缓存不一样的地方:缓存的不是"结果",是"中间计算状态"。

从机制还能推出一个重要结论:缓存命中省的是 prefill 计算和 TTFT,所以收益是双重的——既省钱又提速。对交互式产品来说,长 system prompt 命中缓存后首字延迟的改善,往往比账单数字更早被用户感知。

为什么前缀必须稳定

缓存按前缀逐 token 匹配,前面差一个 token,从那里开始往后全部失效。所以 prompt 的排列原则是:

  1. system prompt(基本不变)放最前;
  2. 工具定义、知识库资料(低频变化)放中间;
  3. 历史对话按顺序原样追加;
  4. 当前用户输入(每次都变)放最后。

反过来把时间戳、“今天是 XXX"这类动态内容放进 system prompt,就是最常见的缓存杀手——每次调用前缀都不同,一分钱也省不到。

“一个字符都别变"是字面意思:空格、标点、字段顺序的变化都会打破逐 token 匹配。工程上要把 prompt 前缀当成配置资产管理——版本化、评审后才能改、改动即预期缓存全量失效。反过来说,发布新版 prompt 这类低频事件,全量失效一次是可接受的;关键是别让高频调用路径上的"微变”(时间戳、随机 ID、用户名拼接)混进前缀。

多轮对话还有一个细节:messages 数组里每条消息的角色与内容都要原样追加,包括 assistant 的完整回答——有人为了省 token 只回传摘要化的回答,前缀从第一条回答就开始变,缓存全废。保前缀和省 token 冲突时先算总账:多数情况下缓存折扣远大于省下的那点 token。

各家机制速览

提供方触发方式门槛命中价写入价有效期
OpenAI自动前缀达到 1024 token 量级约五折(随模型不同)无加价分钟级,访问续
Anthropic显式 cache_control需标记断点原价约 1 折原价 +25%默认 5 分钟,访问续期
DeepSeek自动(硬盘缓存)自动开启低于未命中价无加价以官方文档为准
vLLM 自建自动前缀匹配开启 prefix caching省自己 GPU 的算力无进程内存周期
  • OpenAI:自动开启,无需代码改动;响应 usage 里的 cached_tokens 可观测命中率。
  • Anthropic:显式声明,在消息里用 cache_control 标记缓存断点;适合前缀巨大且复用频繁的场景。
  • DeepSeek:上下文硬盘缓存自动开启,多轮对话场景收益明显。

自建推理的同学把表格最后一行当重点:vLLM 的 automatic prefix caching 打开就能吃到自己 GPU 上的收益——多轮对话的 TTFT 明显下降、吞吐上升。自建场景没有"价格折扣"的概念,但省算力等价于省钱。

以上数字均为写作时的公开口径,价格策略调整频繁,落地前以各家官方文档为准。

代码:Anthropic 显式缓存示例

from anthropic import Anthropic

client = Anthropic()

resp = client.messages.create(
    model="claude-sonnet-4-5",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": "你是客服助手……(数千 token 的固定规则和知识库资料)",
        "cache_control": {"type": "ephemeral"},  # 标记:缓存此处之前的前缀
    }],
    messages=[{"role": "user", "content": "年假怎么申请?"}],
)
print(resp.usage)
# 关注 cache_creation_input_tokens(首调写入)
# 与 cache_read_input_tokens(后续命中)

首调看到的是 cache_creation_input_tokens(多花 25%),后续 5 分钟内的调用看到 cache_read_input_tokens(只花 10%)。做定时批处理时把同类请求凑在同一时间窗发,命中率会高很多。

代码:OpenAI 自动缓存与缓存杀手排查

OpenAI 侧不需要声明,但值得专门观测命中率,并防住最典型的缓存杀手:

import time
from openai import OpenAI

client = OpenAI()

# 错误写法:时间戳拼进 system prompt,前缀每次都变,缓存永不命中
bad_messages = [{
    "role": "system",
    "content": f"你是客服助手。当前时间:{time.strftime('%Y-%m-%d %H:%M:%S')}。(固定规则……)",
}]

# 正确写法:system 逐字节稳定;动态信息(当前时间)放进消息尾部
good_messages = [
    {"role": "system", "content": "你是客服助手。(固定规则与知识库资料……)"},
    {"role": "user", "content": f"当前时间:{time.strftime('%Y-%m-%d %H:%M')}。问题:发票怎么开?"},
]

resp = client.chat.completions.create(model="gpt-4o-mini", messages=good_messages)
u = resp.usage
details = getattr(u, "prompt_tokens_details", None)
cached = getattr(details, "cached_tokens", 0) if details else 0
hit = cached / u.prompt_tokens if u.prompt_tokens else 0
print(f"prompt_tokens={u.prompt_tokens}, cached_tokens={cached}, 命中率={hit:.0%}")

把"命中率"做成指标后,两件事自动变容易:一是收益核算,命中率乘以可缓存前缀长度就是省下的输入费;二是回归排查,命中率突然跌零基本等于"有人动了前缀”。

实操清单

  1. 多轮对话不要改写历史:每次请求把历史消息原样、按顺序追加,摘要压缩反而会破坏前缀——宁可费 token 也要保住缓存,多数情况算总账更划算;
  2. 大文档 RAG 把文档做前缀:对同一份长文档的多次提问,文档部分整体缓存,成本骤降;
  3. A/B 前置变量:实验开关、用户画像这类"每次微变"的内容放前缀会全场失效,要么挪到尾部,要么收敛取值;
  4. 上线后盯命中率:用 cached_tokens / prompt_tokens 做成指标,命中率突然跌零基本等于"有人改了 system prompt 的排列";
  5. 把缓存策略写进服务文档:哪些段属于稳定前缀、谁有权改、改了会发生什么。缓存是全团队共享的隐式状态,任何一个人的改动都影响所有人的命中率。

对多轮对话产品来说,prompt cache 往往是所有优化手段里省得最多、改得最少的一个,值得每个团队第一时间检查自己有没有吃到。

实战场景

一个法务合同审查工具接入前缀缓存的前后对比很有说服力。产品形态是"上传一份上百页的合同,就其中条款反复追问",改造前每次提问都把合同全文重新发给模型,输入费随追问次数线性叠加,一份大合同问二十个问题就是二十次全文 prefill。改造后把合同全文放在消息序列靠前位置并标记缓存断点,问题逐条追加在后面:第一问付一次缓存写入加价,后续每一问的合同部分都走缓存读取价,整体输入成本降了一个量级(以账单为准),首字延迟也随 prefill 减少而下降。过程中踩过一个坑:为了让提示"更聪明",有人在合同文本前面拼了一行"今天是 XXXX 年 X 月 X 日",命中率当天跌零——把日期挪到问题侧后恢复。这个案例的两个要点:缓存收益与大前缀场景正相关,前缀纪律必须当成工程规范而不是个人习惯。法务团队后来把这份前缀纪律写进了上线检查单,与数据库变更管理同级对待。

检查清单

  • prompt 按"稳定前缀 + 变化尾巴"重排:system → 工具/资料 → 历史 → 当前输入
  • 前缀逐字节稳定,时间戳、随机 ID、用户名等动态内容一律放尾部
  • prompt 前缀纳入配置管理,改动评审并预期缓存失效
  • Anthropic 场景用 cache_control 显式断点,关注写入加价与 5 分钟 TTL
  • OpenAI 场景用 usage 里 cached_tokens 观测命中率并做看板
  • 多轮对话历史原样追加,不做会破坏前缀的改写
  • 大文档多次提问把文档做成缓存前缀
  • 批处理同类请求凑同一时间窗,吃满 TTL