结论先行:Embedding 把一段文本映射成一个高维浮点向量,语义相近的文本在这个空间里距离更近;向量检索就是"先算向量,再比距离"。它是 RAG、语义搜索、去重、推荐的共同地基,理解成本很低,但工程细节(相似度度量、索引选型、模型一致性)决定成败。
什么是 Embedding
Embedding 模型接收字符串,输出一个定长向量(几百到几千维)。训练目标是让"语义相近"在向量空间中体现为"距离更近":两句话一个说"重置密码"、一个说"修改登录口令",字面几乎不重叠,但向量余弦相似度会很高;而"今天午饭吃什么"和它们相距甚远。
这正是关键词检索(倒排索引/BM25)做不到的:关键词匹配看字面,向量检索看语义。当然两者不是替代关系,后文会说。
训练方式不必深究,只需要知道一个结果:主流 embedding 模型是用海量"正负样本对"训练的编码器结构,对"用户会怎么问"和"文档怎么写"的措辞差异做了专门优化。所以同样一段话,用检索模型算的向量和用对话模型顺手算的向量,检索效果差距很大——这也是后面工程实践第 2 条的来源。
还有一个高频疑问:embedding 能不能跨语言?主流新一代检索模型基本做了多语种对齐——中文问题能命中英文文档,在"资料是英文、用户是中文"的混合场景很实用;但跨语言检索的召回质量普遍低于单语种场景,重要系统建议按语言分库,或用评估集确认后再混用。
相似度怎么算
主流是余弦相似度:夹角越小越相似,取值约 [-1, 1]。实践中常把向量先做 L2 归一化,归一化之后余弦相似度等价于点积,很多向量库内部就是这么加速的。欧氏距离在归一化后与余弦单调对应,选哪个差异不大,但同一个系统里别混用。
另一个实用概念是维度:常见模型输出 768、1024、1536 到 3072 维不等。维度越高表达能力通常越强,但存储和计算成本也线性上涨——上亿条 1536 维 FP32 向量仅原始存储就是数百 GB 量级,这引出了下面的索引与压缩话题。
精确检索与近似检索
最朴素的检索是把查询向量跟库里每条向量算一遍相似度再排序,这是 O(N·d) 的暴力扫描。几万条没问题,上千万条延迟和成本就不可接受了。工业方案是 ANN(近似最近邻)索引:
- HNSW:跳表思想的图索引,召回率高、查询快,内存占用大,是大多数向量数据库的默认选项;
- IVF:先聚类分桶,查询时只扫最近的几个桶,省内存但召回略低;
- 量化(PQ/SQ):把向量压成低精度表示,进一步省内存。
ANN 的本质是用少量召回率换数量级的速度,召回率参数(如 HNSW 的 ef_search)是精度与延迟的旋钮。选型时除了性能指标,还要看向量库与现有基础设施的匹配度:团队已经深度使用 PostgreSQL,pgvector 往往比引入一套独立向量库集群更划算——运维面、备份、权限全部复用,百万级以下规模性能完全够。独立向量库的收益要到规模和过滤复杂度上来之后才体现。对着这张表看:
| 方案 | 内存占用 | 召回率 | 延迟 | 适用规模 |
|---|---|---|---|---|
| Flat 暴力扫描 | 存原始向量 | 精确 100% | 随库规模线性恶化 | 万级以下 |
| HNSW 图索引 | 高(图结构额外开销) | 高,可调 | 低且稳定 | 百万到亿级 |
| IVF 倒排分桶 | 中 | 中,取决于探查桶数 | 低 | 千万级 |
| PQ/SQ 量化压缩 | 大幅降低 | 中低,压缩有损 | 低 | 亿级、内存敏感 |
代码:从余弦排序开始
真实系统里向量来自 embedding 服务,这里手算一遍排序逻辑,理解库里发生的事:
import numpy as np
def cosine(a: np.ndarray, b: np.ndarray) -> float:
return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b)))
# 示意用 4 维,真实模型通常输出 768~3072 维
docs = {
"如何重置密码": np.array([0.9, 0.1, 0.0, 0.2]),
"修改登录口令": np.array([0.8, 0.2, 0.1, 0.1]),
"今天午饭吃什么": np.array([0.0, 0.1, 0.9, 0.8]),
}
query = np.array([0.85, 0.15, 0.05, 0.15])
ranked = sorted(docs.items(), key=lambda kv: cosine(query, kv[1]), reverse=True)
for name, _ in ranked:
print(f"{cosine(query, docs[name]):.3f} {name}")
生产环境中把"暴力 sorted"换成 Milvus、pgvector、Elasticsearch 的向量字段或 Qdrant 即可,接口模式几乎都是"写入向量 + 按相似度查 top-k"。
代码:调用 embedding 服务的错误与正确
真实业务里向量来自 embedding API,最容易犯的错是"查询和文档用了不同的模型":
from openai import OpenAI
client = OpenAI()
# 错误写法:文档与查询用不同模型,向量空间不对齐,相似度无意义
doc_vec = client.embeddings.create(model="text-embedding-3-large", input=["重置密码流程"]).data[0].embedding
qry_vec = client.embeddings.create(model="text-embedding-3-small", input=["怎么改密码"]).data[0].embedding
# 两个模型维度都不同(large 3072 维、small 1536 维),连距离都算不了
# 正确写法:同一模型同一版本;入库与查询走同一个封装
def embed(texts: list[str]) -> list[list[float]]:
resp = client.embeddings.create(model="text-embedding-3-small", input=texts)
return [d.embedding for d in resp.data]
docs = ["如何重置密码", "修改登录口令", "报销流程说明"]
doc_vectors = embed(docs)
query = embed(["密码怎么改"])[0]
顺手封装成单一 embed 函数还有个好处:将来换模型只改一处,且可以在函数里加模型版本标记,避免新旧向量混库。
四条工程实践
- 同一业务用同一个 embedding 模型:查询和文档必须出自同一模型,否则向量空间根本不对齐;换模型意味着全量重建向量库。
- embedding 和生成用两个模型:embedding 用专门的检索模型,便宜、快,不要用对话模型顺手算向量。
- 关键词检索别扔:BM25 + 向量的混合检索是 RAG 的主流配置,专有名词、型号、代码标识符靠关键词,语义改写靠向量,两路结果融合。
- 归一化入库:写入前做 L2 归一化,检索用点积,既省计算又避免量纲争论;
- 版本标记落库:每条向量连同"模型名+版本+维度"一起存。换模型做灰度重建时,才能分清哪些数据在旧空间、哪些在新空间——新旧向量同库混检是极难排查的事故,源头往往就是没记版本。
再加一条容易被忽略的:元数据过滤前置。多租户、多文档类型的库里,先把 tenant_id、doc_type 这类过滤条件交给向量库的结构化过滤,再在过滤后的子集里做相似度检索,比"检索完再过滤"又快又准——否则 top-k 可能被别的租户的相似内容占满。
向量检索本身不难,难的是后面"检索到的东西对不对、够不够"——那就是 RAG 的范畴了。
实战场景
一个内部 IT 自助问答机器人的检索冷启动:团队先用全文关键词检索上线,用户问"VPN 连不上"能命中,问"在家怎么访问公司系统"就全军覆没——措辞差异的关键词检索扛不住。改造时没有推翻重来:保留原有关键词链路负责工单号、系统名、报错代码这类硬标识,新增向量链路负责口语化问句,两路各自召回 top-k 后按分数融合,重排后取前几块进 prompt。库不大(几万条),直接用了数据库自带的向量插件,没有引入独立向量库。上线后"换个说法就搜不到"的投诉明显减少,硬标识类查询的准确率没有回退。这次改造总成本约一人周,核心决策只有两个:混合检索、同一条 embedding 封装喂两侧。