模型路由与降级:成本与质量的最优解

所有流量都打旗舰模型,是 LLM 应用最常见的成本浪费;所有流量为了省钱都打轻量模型,则是最常见的质量事故来源。两个问题出自同一个根因:把模型选择当成了静态决策。正确做法是把模型选择变成运行时决策——路由系统按任务特征把 …

开源模型格局:Llama、Qwen、GLM、DeepSeek

2025 年开源模型已形成清晰的第一梯队——Meta 的 Llama、阿里的 Qwen、智谱的 GLM、DeepSeek,外加 Mistral 等。在分类、抽取、常规问答这类业务任务上,开源中小模型(7B~32B)已经够 …

大模型幻觉的成因与缓解手段

幻觉不是 bug,而是生成机制的副产品——模型优化的目标是"像不像一个合理的下一句",不是"是不是真的"。它无法根除,只能靠工程手段压低概率、圈住影响:上 RAG、允许说"不知道"、结构化输出加校验、关键事实走外部验证。 …

让模型稳定输出 JSON 的几种方法

别靠"麻烦你输出 JSON"这种裸 prompt。优先级是:API 原生 schema 约束输出 > function calling > few-shot + 解析重试。无论用哪种,拿到结果后必须过一遍 schema …

微调、RAG、提示工程怎么选

三者解决的是不同层面的问题——提示工程改变"这一次怎么答",RAG 补"模型不知道的知识",微调改"模型的长期行为习惯"。知识频繁变化选 RAG,固定风格与格式且量大到值得训练时选微调;其他一切问题,先从提示工程开始。多 …

temperature、top_p 采样参数怎么选

temperature 控制"下一个 token 的概率分布被削尖还是拉平"。分类、抽取、JSON 输出这类要确定性的任务用 00.2;创意生成用 0.71.0;通用问答取中间值。top_p 与 temperature …

Tokenizer:模型眼中的文本是什么样的

模型不认识汉字也不认识单词,只认识 token。上下文窗口限制、API 计费、输出截断、速率限制,全都按 token 计算。后端工程师接 LLM API,第一件该搞清楚的事就是:我这段文本会变成多少个 token。 文本 …

Transformer 注意力机制通俗拆解

注意力机制的本质是一次"软化的加权检索"——每个 token 拿自己的 Query 去和序列里所有 token 的 Key 算匹配度,再按匹配度对 Value 加权求和。理解了 Q、K、V 三个矩阵从哪来、怎么算 …

lbk_runtime@engineering-notes: ~ hover 展开 · Esc 收起
Last login: 2026-11-18 21:06:07 from console $ whoami LBK_Runtime — 后端 & AI 工程师,写 engineering-notes $ neofetch site: engineering-notes author: LBK_Runtime posts: 93 篇 · tags: 44 个 rss: /index.xml hint: 输入 help 查看可用命令
lbk_runtime@engineering-notes:~$