Prompt Cache:被低估的成本杀手

凡是"固定前缀 + 变化尾巴"的调用(多轮对话、固定 system prompt、大知识库 RAG),前缀缓存都能大幅省输入成本——OpenAI 自动缓存命中部分约打对折(具体折扣随模型不同),Anthropic 显式缓 …

LLM API 成本优化实战

API 成本 = 输入单价 × 输入 token + 输出单价 × 输出 token,而输出单价通常是输入的 3~5 倍。优化的优先级是:先降模型档位,再砍输入,再砍输出,最后上缓存和批处理。不要一上来就抠 prompt …

lbk_runtime@engineering-notes: ~ hover 展开 · Esc 收起
Last login: 2026-11-18 21:06:07 from console $ whoami LBK_Runtime — 后端 & AI 工程师,写 engineering-notes $ neofetch site: engineering-notes author: LBK_Runtime posts: 93 篇 · tags: 44 个 rss: /index.xml hint: 输入 help 查看可用命令
lbk_runtime@engineering-notes:~$