Embedding 与向量检索入门

Embedding 把一段文本映射成一个高维浮点向量,语义相近的文本在这个空间里距离更近;向量检索就是"先算向量,再比距离"。它是 RAG、语义搜索、去重、推荐的共同地基,理解成本很低,但工程细节(相似度度量、索引选型、 …

上下文窗口与 KV Cache:长文本为什么贵

长文本贵有两个原因——注意力计算量随序列长度平方增长,KV Cache 显存占用随序列长度线性增长且数额可观。API 按 token 计费,本质上就是把这些算力和显存成本折算给你。理解这两笔账,你对"为什么 128K 窗 …

temperature、top_p 采样参数怎么选

temperature 控制"下一个 token 的概率分布被削尖还是拉平"。分类、抽取、JSON 输出这类要确定性的任务用 00.2;创意生成用 0.71.0;通用问答取中间值。top_p 与 temperature …

Tokenizer:模型眼中的文本是什么样的

模型不认识汉字也不认识单词,只认识 token。上下文窗口限制、API 计费、输出截断、速率限制,全都按 token 计算。后端工程师接 LLM API,第一件该搞清楚的事就是:我这段文本会变成多少个 token。 文本 …

Transformer 注意力机制通俗拆解

注意力机制的本质是一次"软化的加权检索"——每个 token 拿自己的 Query 去和序列里所有 token 的 Key 算匹配度,再按匹配度对 Value 加权求和。理解了 Q、K、V 三个矩阵从哪来、怎么算 …

lbk_runtime@engineering-notes: ~ hover 展开 · Esc 收起
Last login: 2026-11-18 21:06:07 from console $ whoami LBK_Runtime — 后端 & AI 工程师,写 engineering-notes $ neofetch site: engineering-notes author: LBK_Runtime posts: 93 篇 · tags: 44 个 rss: /index.xml hint: 输入 help 查看可用命令
lbk_runtime@engineering-notes:~$