结论先行:RAG = 先检索、后生成。把和问题相关的资料块塞进 prompt,让模型"开卷考试"。它解决两个模型天然的问题——知识有截止日期、私有数据它根本没见过——而且比微调便宜得多,知识可以随时更新。企业内部知识问答的默认首选方案。
为什么需要 RAG
通用模型的训练语料是公开数据,两个盲区:训练截止之后发生的事它不知道;你公司内部文档、私有业务规则它完全没见过。硬问的结果要么是"不知道",要么更糟——一本正经地编。与其指望模型记在你的参数里(微调),不如把资料放到上下文里给它看(RAG):参数里的知识更新要重训,上下文里的知识改文档就生效。
再补两个 RAG 的隐性优势。其一,可归因:答案能带上引用编号指回具体资料块,人工核验和审计都有抓手,这在金融、法务、客服场景往往是硬要求。其二,权限可控:检索层天然能按租户、部门做过滤,“谁能问出什么"在检索层就拦住了;而微调把知识焊进权重,想撤回一条过时政策只能重训。
也要破除一个误解:RAG 不是"便宜的微调”,两者机制不同。RAG 让模型"看着材料作答",材料错了答案就错;它也不改变模型的语言与推理能力,资料本身写得太差(口语化、缺术语、段落混乱),RAG 救不回来。所以 RAG 项目的第一工作量往往在数据治理,不在模型调用。
完整流程:一条离线,一条在线
离线建库:文档 → 切块(chunking)→ 每块算 embedding → 存向量库(连同来源、章节、权限等元数据)。
在线问答:用户问题 → (可选查询改写)→ 算 embedding → 向量库检索 top-k 相似块 → (可选 rerank 精排)→ 资料块拼进 prompt → 交给 LLM 生成答案。
切块:最容易做错的一步
切块的目标是"每块语义完整、大小适中":太大,一块里塞多个主题,检索精度下降且挤占上下文;太小,上下文断裂,检索回来的块缺前因后果。常见做法是 300~800 token 一块,带 10%~15% 的重叠(overlap),并按文档结构切(标题、段落边界),别用固定长度硬剁。
两类文档要特别处理:表格别和正文混切——整表一块或行列扁平化成文本,切碎的表格检索出来就是废纸;问答对、条款类文档天然自带边界,按条切而不是按字数切。另外每块记得带元数据(文档名、章节、生效日期),既帮 rerank,也帮答案引用时给出处。
在线链路里"查询改写"值得单独强调:用户的真实提问往往带上下文指代(“那第二个方案呢”),直接拿去检索几乎必失败。多轮 RAG 的标准做法是先让模型把"带上下文的追问"改写成"独立完整的检索查询"再去召回——这一步在多数 RAG 框架里是默认选项,自研链路容易漏。
代码:最小可运行的 RAG 骨架
下面用词重叠打分代替 embedding 演示流程骨架(示意实现,生产环境把打分函数换成向量相似度即可,其余结构不变):
import re
kb = [
"年假:入职满一年可休 5 天,需提前 3 天在 OA 申请。",
"报销:每月 10 日前提交上月发票,超过 5000 元需部门总监审批。",
"考勤:工作日 9:30 前打卡,每月可补卡 3 次。",
]
def chars(text: str) -> set[str]:
return set(text) - set(",。:;!?\n ") # 去标点的字符集,示意用
def retrieve(query: str, top_k: int = 1) -> list[str]:
q = chars(query)
scored = [(len(q & chars(doc)), doc) for doc in kb]
scored.sort(key=lambda x: x[0], reverse=True)
return [doc for _, doc in scored[:top_k]]
def build_prompt(question: str) -> str:
context = "\n".join(f"[{i+1}] {doc}" for i, doc in enumerate(retrieve(question)))
return f"仅根据以下资料回答,资料中没有的就回答'不知道'。\n\n资料:\n{context}\n\n问题:{question}"
print(build_prompt("年假有几天,怎么申请?"))
# 把 build_prompt 的结果发给 LLM,就是一次完整的 RAG 调用
生产系统里 retrieve 换成向量库查询(通常混合 BM25),kb 换成几千上万块的索引,外层再包一层 API 服务,就是一个能上线的 RAG。
代码:切块与拒答边界的正确姿势
切块和 prompt 边界各给一组"错误 vs 正确"。切块最常见的错是按字符硬剁:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
def chunk(text: str, size: int = 500, overlap: int = 50) -> list[str]:
"""按 token 切块并带重叠。错误做法是 text[i:i+600] 按字符硬剁,
会把句子和表格腰斩,检索出来的块缺头少尾。"""
tokens = enc.encode(text)
step = size - overlap
out = []
for start in range(0, max(len(tokens), 1), step):
piece = enc.decode(tokens[start:start + size]).strip()
if piece:
out.append(piece)
if start + size >= len(tokens):
break
return out
prompt 边界最常见的错是没有拒答出口:
question = "年假怎么申请?"
context = "[1] 年假:入职满一年可休 5 天,需提前 3 天在 OA 申请。"
# 错误写法:只说"根据资料回答",没有拒答出口,模型仍会脑补
bad_prompt = f"请根据资料回答问题。资料:{context}\n\n问题:{question}"
# 正确写法:明确边界 + 允许拒答 + 要求引用编号,便于事后校验
good_prompt = (
"仅根据以下资料回答,资料中没有的信息必须回答'不知道',"
"禁止推测和补充。答案末尾用 [编号] 标注引用。\n\n"
f"资料:\n{context}\n\n问题:{question}"
)
效果好不好,卡在检索
LLM 生成端各家模型差距不大,RAG 的效果瓶颈几乎都在检索端:
- 召回:该找到的块没找到,模型只能靠参数瞎答或说不知道。优化方向:混合检索、查询改写(把口语问题改写成适合检索的形式)、切块策略。
- 排序:找到的块里垃圾排在前面,挤占上下文。优化方向:rerank 模型对候选块做精排。
- 抗噪:prompt 里明确"仅根据资料回答,没有就说不知道",并要求标注引用编号,方便校验。
先建评估集(问题 + 标准答案 + 应命中的资料块),再调检索参数,否则所有优化都是凭感觉。评估集本身也要讲究:除了正常问题,必须包含三类边界用例——答案确实不在库里的"拒答题"、措辞口语化但库里有答案的"改写题"、跨多块资料才能答全的"聚合题"。只有正常题的评估集会把系统惯成"只会答标准问法"的温室植物。对照症状定位问题,比漫无目的调参快得多:
| 症状 | 常见根因 | 优化手段 |
|---|---|---|
| 该命中的块没召回 | 切块碎、问句与文档措辞差异大 | 混合检索、查询改写、放宽 top_k |
| 命中了但答非所问 | 相关块排在后面被挤出上下文 | rerank 精排、控制块大小与数量 |
| 答案混入资料外内容 | prompt 没有拒答出口 | 明确边界话术 + 引用编号校验 |
| 刚更新的文档问不出来 | 建库管线没触发或索引没刷新 | 索引更新监控 + 文档版本号 |
实战场景
一个 HR 政策问答机器人的两轮迭代值得复述。第一版只做了最朴素的向量检索,评估集上命中率尚可,上线后问题集中在两类:员工问"试用期年假怎么算"这类跨条款问题,单块上下文不够,模型要么漏答要么编;问"去年规定和现在有什么区别",旧版本文档还躺在库里,答案新旧混杂。第二版的动作:切块改为按政策条款切,并带上"生效日期、是否现行有效"元数据;检索后加一层元数据过滤,默认只查现行有效条款,问历史版本才放开;跨条款问题引入查询改写,把一个问题拆成两三个检索子查询分别召回再合并精排。评估集从 50 条扩到 300 条,每次改动跑一遍命中率与拒答正确率。两轮下来没有动过一个模型参数——RAG 的优化空间几乎全在数据与检索层。
检查清单
- 切块按语义边界(标题/条款/表格),带 10%~15% 重叠,不用固定字符硬剁
- 每块携带元数据(来源、章节、生效日期、权限),不只存向量
- 检索用 BM25 + 向量混合,硬标识靠关键词、语义改写靠向量
- prompt 给出拒答出口,要求引用编号并做代码校验
- 先建评估集(问题/答案/应命中块),再调检索参数
- 表格与结构化文档单独制定切块策略
- 文档更新走索引刷新管线,旧版本默认不参与检索