结论先行:长文本贵有两个原因——注意力计算量随序列长度平方增长,KV Cache 显存占用随序列长度线性增长且数额可观。API 按 token 计费,本质上就是把这些算力和显存成本折算给你。理解这两笔账,你对"为什么 128K 窗口的调用这么贵"就有直觉了。
上下文窗口是什么
上下文窗口是模型一次推理能处理的 token 总量上限,包括 system prompt、全部历史对话、检索到的资料、当前问题,再加上模型要生成的输出。注意"输出也占窗口":窗口 128K 不代表你能塞 128K 的资料进去还指望它写一篇长文。
当前主流模型的窗口普遍在 128K token 量级,部分模型宣称到百万级(各模型真实可用长度以其官方文档为准),但"能塞"和"塞了有用"是两回事,后面会讲中部信息利用率的问题。窗口规格还有两个容易混淆的数字:一是输入加输出的总和上限,二是部分 API 对单次最大输出另有独立上限——max_tokens 设得比窗口剩余空间还大没有意义。
窗口预算还有几个容易被漏算的占用项:工具定义(function calling 的参数 schema 随工具数量线性膨胀,挂十几个工具就是几千 token);few-shot 示例;以及结构化输出的格式说明。做预算时把这些"基础设施 token"单独列一项,和业务资料分开看——它们几乎恒定,也最适合用前缀缓存消化(后续文章详述)。
Prefill:平方代价的第一笔账
模型处理输入时(叫 prefill 阶段),n 个 token 要两两算注意力分数,计算量是 O(n²)。上下文翻 4 倍,prefill 计算量翻 16 倍。这直接解释了两个现象:长上下文请求的首字延迟(TTFT)明显变高;输入 token 的计费随长度叠加,多轮对话越聊越贵。
prefill 是"读"的成本,decode(逐 token 生成)是"写"的成本。decode 每步主要受显存带宽限制,速度相对稳定;所以长 prompt 的慢主要慢在 TTFT——prompt 越长,第一个字出来越慢。观测时把这两段延迟分开看,才能定位瓶颈。
KV Cache:第二笔账
自回归生成时,模型每产出一个新 token,都要让它和"所有历史 token"算注意力。如果每一步都重算历史的 K、V 投影,那纯属浪费——历史 token 又不会变。所以推理框架把每个 token 的 Key、Value 缓存下来(KV Cache),生成时只算新 token 的 Q 和新增加的那份 K、V。
省了计算,代价是显存。KV Cache 大小的估算公式:
2(K和V) × 层数 × KV 头数 × head_dim × 序列长度 × batch × 每元素字节数
用代码感受一下量级:
def kv_cache_bytes(num_layers, num_kv_heads, head_dim, seq_len,
batch=1, dtype_bytes=2):
# K 与 V 各存一份,故乘 2;dtype_bytes=2 表示 FP16/BF16
return 2 * num_layers * num_kv_heads * head_dim * seq_len * batch * dtype_bytes
# 某个 7B 级别模型的典型配置:32 层、8 个 KV 头(GQA)、head_dim=128
for seq_len in [4096, 32768, 131072]:
gb = kv_cache_bytes(32, 8, 128, seq_len) / 1024**3
print(f"seq={seq_len:>6}: KV Cache 约 {gb:.2f} GB")
输出大约是:4K 序列 0.5 GB、32K 约 4 GB、128K 约 16 GB——这还只是 batch=1 的单个请求。推理服务的显存大头往往不是模型权重,而是并发请求的 KV Cache。GQA(分组查询注意力)这类结构优化的目标,就是砍 KV 头数、把这块显存压下来。
再补一个换算视角:把公式的产物"单请求 KV 字节数"和模型权重的字节数放在一起看比例更直观——小模型权重的显存占比低,KV Cache 反而容易成为大头。所以小模型并不总是"更省显存的选择",序列长度上来之后,容量瓶颈往往先出现在 KV Cache 一侧。
显存与算力的优化技术
围绕"prefill 的平方计算"和"KV Cache 的线性显存"两笔账,业界发展出一组标准手段,选模型和推理框架前值得对照这张表:
| 技术 | 作用对象 | 思路 | 主要代价 |
|---|---|---|---|
| GQA 分组查询注意力 | KV Cache 显存 | 多个 Q 头共享一组 KV 头 | 精度略降,需消融验证 |
| MQA 多查询注意力 | KV Cache 显存 | 全部 Q 头共享单份 KV | 压缩激进,质量损失更明显 |
| 滑窗注意力 | 计算与显存 | 每个 token 只看最近 W 个 token | 窗口外的远距离依赖丢失 |
| FlashAttention | prefill 速度与显存峰值 | 分块计算,中间矩阵不落显存 | 数学无损,依赖内核支持 |
| KV Cache 量化 | KV Cache 显存 | FP16 转 INT8/INT4 存储 | 有精度风险,按模型逐个验证 |
这些技术大多已经"沉到"模型结构和推理框架里,应用方不直接操作,但它们决定了同一张卡能跑多长序列、开多大并发。选型时值得把"是否 GQA/MLA、是否支持 FlashAttention、KV Cache 能否量化"当作提问清单,而不是只看参数量和价格。
对 API 使用者的三个推论
- 多轮对话成本线性上涨:每轮都把全部历史重新发一遍,输入费用随轮次累加。长对话要么定期裁剪/摘要历史,要么用前缀缓存(后续文章专门讲)。
- 窗口 ≠ 免费容量:塞满上下文不仅贵,还可能因为"中间信息"利用率下降而掉效果,长上下文不等于长上下文都学得很好。
- 自建推理要算容量账:
并发数 × 平均序列长度 × 单请求 KV 大小决定能起多少 batch,显存不够就排不上队,吞吐上不去。
补一句"窗口用不满"的注脚:多项研究都观察到模型对超长上下文中部信息的利用率明显弱于首尾——资料堆中间的关键约束容易被忽略。所以工程上与其追求把窗口塞满,不如做减法:精排检索结果、裁剪历史、把最关键的约束放在 prompt 首尾。预算上建议给单场景设定"上下文预算",输入长期超过预算就是该做摘要压缩或检索优化的信号。
顺便回应一个高频问题:资料塞窗口和走 RAG 检索哪个划算?粗略的边界是复用频次——同一段资料几乎每个请求都要用(固定规则、工具说明),放前缀吃缓存更划算;只在少数请求用到的海量资料(百万字级文档库),检索按需取用才经济。窗口塞得下不等于应该塞。
窗口预算检查完全可以在客户端离线完成,代码不到二十行:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
WINDOW = 128_000 # 目标模型窗口上限,以官方文档为准
MAX_OUTPUT = 4_000 # 给输出预留的额度
system = "你是内部知识库助手……(固定的规则说明)"
history = [
{"role": "user", "content": "上次聊到的迁移方案再展开说说"},
{"role": "assistant", "content": "好的,那个方案分三步……"},
]
retrieved = "……(检索回来的资料块)……"
question = "结合资料给出本次结论"
# 输入侧总 token:system + 历史 + 资料 + 问题
used = len(enc.encode(system)) + len(enc.encode(retrieved)) + len(enc.encode(question))
used += sum(len(enc.encode(m["content"])) for m in history)
# 错误认知:窗口 128K 就能塞 128K 资料——输出同样占窗口
# 正确做法:输入 + 预留输出 <= 窗口,超限先裁历史、再裁低相关资料
assert used + MAX_OUTPUT <= WINDOW, f"超窗:{used + MAX_OUTPUT} > {WINDOW}"
print(f"当前输入 {used} tokens,资料余量 {WINDOW - MAX_OUTPUT - used}")
一句话总结:prefill 决定"贵在计算",KV Cache 决定"贵在显存"。这两条是所有长上下文优化手段(缓存、滑窗、稀疏注意力、GQA)共同的出发点。
实战场景
一个自建推理服务的容量翻车复盘:团队用一张 80 GB 显存的卡部署 32B 模型做内部问答,粗算"权重占六成多,剩二十多 GB 能开大并发",结果压测到并发十几就 OOM。用 KV Cache 公式重算才发现:按业务常态 8K 序列长度算,单个请求的 KV Cache 就要好几 GB,二十多 GB 也就撑个位数并发。修复动作按顺序做了三件事:换用 GQA 结构的同级模型把单请求 KV 压下来;把 max_model_len 从默认上限砍到业务真实需要的长度;按公式把"峰值并发 × 平均序列长度 × 单请求 KV"写成容量估算表贴进服务文档。此后每次扩容前先对表,不再凭感觉报数。这个案例没有花哨技术,全部收益来自把两笔账真正算了一遍。