Prompt Cache:被低估的成本杀手
凡是"固定前缀 + 变化尾巴"的调用(多轮对话、固定 system prompt、大知识库 RAG),前缀缓存都能大幅省输入成本——OpenAI 自动缓存命中部分约打对折(具体折扣随模型不同),Anthropic 显式缓 …
# 成本优化 · 2 篇
凡是"固定前缀 + 变化尾巴"的调用(多轮对话、固定 system prompt、大知识库 RAG),前缀缓存都能大幅省输入成本——OpenAI 自动缓存命中部分约打对折(具体折扣随模型不同),Anthropic 显式缓 …
API 成本 = 输入单价 × 输入 token + 输出单价 × 输出 token,而输出单价通常是输入的 3~5 倍。优化的优先级是:先降模型档位,再砍输入,再砍输出,最后上缓存和批处理。不要一上来就抠 prompt …