结论先行:幻觉不是 bug,而是生成机制的副产品——模型优化的目标是"像不像一个合理的下一句",不是"是不是真的"。它无法根除,只能靠工程手段压低概率、圈住影响:上 RAG、允许说"不知道"、结构化输出加校验、关键事实走外部验证。把"模型永远正确"当成设计假设的系统,上线一定翻车。

为什么会幻觉

四个成因叠加:

  1. 训练目标使然:模型学的是预测下一个 token,对"编一段流畅合理的回答"这件事,和"给一段事实正确的回答",在训练目标上几乎没有区别。流畅和真实是两回事。
  2. 知识边界模糊:模型对"自己知道什么"没有可靠的自我认知。训练数据里的冷门知识记得半真半假,但它感受不到这份不确定,会以同样的自信输出。
  3. 被逼着回答:问题超出知识范围或资料里没有答案时,“顺着编一个"在语言层面是完全合理的续写。
  4. 采样随机性:temperature 高时低概率 token 也有机会被选中,偶尔选错一个实体名,后面就沿着错误一路圆下去。

换一个角度看:模型是"下一句接龙器”,它对"看起来对的回答"能力极强,对"是不是真的"没有内建感知。所以幻觉的高发区不是随机分布的,而是可预测的:冷门实体、精确数字、时效信息、长尾细节——训练语料覆盖稀疏的地方。识别这些高发区,比泛泛地"防幻觉"更有工程价值。

缓解手段:按性价比排序

1. RAG:先给资料再作答

最高性价比的手段。把相关资料放进上下文,并明确要求"仅根据资料回答"。模型从"凭记忆默写"变成"看着材料抄写",幻觉率显著下降。

2. 允许说"不知道"

默认行为是"尽量给出回答",要在 prompt 里显式翻转它:找不到依据时固定回复统一话术,并给这条话术设计下游处理(转人工、查库重试)。

3. 结构化输出 + 代码校验

让模型输出结构化数据,枚举字段用枚举值约束,解析后用代码校验非法值。日期、金额、单号这类字段,宁可在代码里查库核对,不要信模型复述。

4. 关键事实走外部验证

能计算的让模型产出可执行的东西而不是计算结果(例如让它生成 SQL 查金额,而不是问它金额多少);能查证的用工具查证(联网搜索、调用内部 API)。模型负责组织语言,事实交给确定性系统。

5. 降低 temperature

只对"随机性带来的胡言乱语"有效,对"自信地一本正经"无效。它是辅助手段,不是解药。

五类手段的适用面和局限放在一起看:

手段成本解决的问题局限
RAG 注入资料中,需检索链路知识缺失导致的编造检索不准则整体失效
允许说"不知道"低,改 prompt被逼着回答要设计下游兜底流程
结构化输出 + 校验低取值越界、格式漂移只能拦住可校验字段
关键事实外部验证中数字、日期、状态类错误覆盖不了开放性陈述
降低 temperature零随机性口误对"自信地编"无效

RAG 场景:检索质量决定幻觉率的上限

RAG 不是装上就生效。它的生效前提是"检索到的资料里真的有答案",前提断了,幻觉不但没缓解,还会换一种更隐蔽的形态:模型拿着不相关的资料硬往上靠,答案看起来有引用、有出处,内容却是对着错误材料的自由发挥——这种幻觉比裸编更难发现,因为它穿着引用的外衣。

把线上幻觉 case 按检索质量分桶统计过一次,结论直接改变了投入方向:答案错误的 case 里,当时检索根本没有召回正确片段的占多数。这意味着这类"幻觉"的根因在检索层而不在生成层——换更强的模型改善有限,改分块策略、调召回参数、补语料覆盖才是对症药。链路二分诊断法每次都能把方向定准:同一个问题,人工把正确资料拼进上下文再问,答案正确——问题在检索层;拼了正确资料答案仍然错——问题才在生成层。还有个常被忽略的联动:资料不相关时模型"硬靠"还是"认怂",取决于 prompt 约束强度和模型倾向,所以 RAG 系统的评估必须包含"检索为空"与"检索不相关"两类用例,不能只用检索完美的理想数据测——理想数据测出来的低幻觉率,只是没踩到失效路径而已。

代码:一份抗幻觉的 prompt 模板

system = """你是严格的问答助手,规则如下:
1. 只使用 <context> 标签内的资料回答,禁止使用任何资料外的知识。
2. 资料中找不到答案时,固定回复:资料中没有相关信息。
3. 不做推测,不补充背景,不编造数字。
4. 答案末尾用 [编号] 标注引用了哪条资料。"""

user = """<context>
[1] 年假政策:入职满一年可休 5 天,需提前 3 个工作日在 OA 申请。
[2] 病假:需提供二级及以上医院开具的证明,按工作日计算。
</context>

问题:产假有多少天?"""

按这份规则,正确行为是回复"资料中没有相关信息"——产假政策不在资料里。评估这类 prompt 时要专门构造"资料外问题"的用例,验证它真的会认怂,而不是硬编。

代码:把引用校验做成硬闸门

prompt 约束是软的,代码校验是硬的。模型声称引用了 [1],就检查编号存在、且答案确实挂在真实资料上:

import re

def validate_citations(answer: str, contexts: list[str]) -> bool:
    """校验引用编号。错误做法是把模型答案直接透传给用户,
    对'引用不存在的资料''编号越界'毫无防御。"""
    refs = set(re.findall(r"\[(\d+)\]", answer))
    if not refs:
        return False                      # 没有引用:按规则视为不合格
    for r in refs:
        idx = int(r) - 1
        if idx < 0 or idx >= len(contexts):
            return False                  # 引用了不存在的资料编号
    return True

contexts = [
    "年假政策:入职满一年可休 5 天,需提前 3 个工作日在 OA 申请。",
    "病假:需提供二级及以上医院开具的证明,按工作日计算。",
]
print(validate_citations("入职满一年可休 5 天,需提前 3 个工作日申请 [1]。", contexts))
# True

print(validate_citations("根据规定 [3],产假为 98 天。", contexts))
# False:引用了不存在的 [3],拦截后转人工或带错误信息重试

进一步可以做"引用内容回验":把答案拆成事实句,逐句在它声称引用的资料块里做字符串或语义匹配,匹配不上就降级处理。这一步能用很便宜的代码拦住大量"张冠李戴"式幻觉。

工程化落地时引用校验按成本分三级,按业务风险选配。第一级是编号合法性校验,就是上面的正则加越界判断,零模型成本,永远开启;第二级是片段回验,把答案拆成论断句在它引用的资料块里做片段匹配,能拦住大半张冠李戴,误杀的处理是降级提示"该结论建议人工核实",而不是丢弃整条答案;第三级用 NLI 模型判断"资料能否蕴含该论断",精度最高但每条引用多一次模型调用,只给法条、金额这类高风险字段开。见过一次失败实现值得记取:三级校验逻辑都写了,但失败路径走的是"记日志、继续放行"——校验失败必须真的拦截,这是闸门和监控的本质区别,监控允许旁路,闸门不允许。

检测与兜底

  • 抽样人工复核:上线初期按比例抽检,幻觉率是核心质量指标;
  • 引用校验:模型声称引用 [1],就校验答案内容是否真的能在资料 [1] 里找到对应句子,可用字符串匹配或 NLI 模型辅助;
  • 分级设计:面向用户的自由问答从严(宁可说不知道),内部辅助工具可以稍宽(人工二次确认)。永远保留人工接管路径。

一句话总结:对抗幻觉的思路不是"让模型变诚实",而是"让诚实成为最省力的路径"——给它资料、给它台阶、用代码拦住越界输出。

幻觉率怎么评估,升级后怎么回归

“幻觉率"先拆口径再谈数字,不然评估做不起来。评估集分三类题目、分开统计:知识内题,资料里有答案,正确行为是答对且引用正确;边界题,资料里没有答案,正确行为是认怂;诱导题,问题里埋不存在的前提(比如引用一条并不存在的"第七条”),正确行为是识破而不是顺着编。三类分开算的原因是失败模式完全不同——知识内题失败是答错,边界题失败是不肯认怂,诱导题失败是被牵着走,合并成一个总数会掩盖"哪层防御失效"这个关键信息。判定方式上,知识内题用要点匹配自动判;边界题和诱导题先规则判(回复是否命中固定话术),规则覆盖不了的抽样人工判。规模上不必贪大:每类二三十题、覆盖高发区(数字、时效、冷门实体),足以看出版本间差异。

版本升级是这套评估集的主要用途,两次升级的观察值得记录。一次升级后"自信地一本正经"明显减少,但出现新模式:模型更爱引用资料,却会把两条资料的内容缝进同一个引用编号,片段回验的误杀率上升,阈值放宽之后又补了语义匹配兜底才稳定。另一次升级方向相反:认怂变多但过于激进,资料明明覆盖了的问题也开始认怂,靠放宽 prompt 里"仅根据资料"的表述强度才拉回来。两次的共同教训:升级带来的改善不均匀,三个分桶的数字要挨个对比,任何一桶漂移超过几个百分点,就当作防线参数需要重调的信号。评估集的第三个用途是承接线上幻觉 case 的回流,每个 case 固定住一种已知失败模式,修复 prompt 或检索策略之后拿它做回归——评估集是活的,只增不减。

实战场景

一个法律咨询辅助产品的分级设计:产品定位是"帮当事人理解通用法律概念、整理材料清单",不替人下结论。幻觉防御拆到三层。第一层,资料侧只挂法规原文与官方解读库,检索范围锁死;问题超出库范围(如"帮我判断我这个案子能不能赢")直接触发固定话术转人工律师。第二层,所有法条引用强制走代码校验:模型必须输出"条文编号 + 原文摘录"的结构化结果,摘录与库里原文做精确匹配,匹配失败该条引用直接丢弃并在界面隐藏——宁可少引不可错引。第三层,每周对线上对话抽样人工复核,幻觉类 case 回流进评估集,成为下次 prompt 或检索改版的回归用例。上线以来没有出现过"编造条文编号"漏到用户面前的情况——不是因为模型变可靠了,而是因为编造的引用在第二层就被代码拦下了。

检查清单

  • 把幻觉当概率问题设计系统,不把"模型永远正确"当假设
  • 高发区重点设防:冷门实体、精确数字、时效信息、长尾细节
  • 知识型问答默认上 RAG,prompt 明确"仅根据资料回答"
  • 给"不知道"留正式出口,并设计转人工等下游兜底
  • 结构化输出 + 代码校验双保险,枚举、范围、引用编号全部校验
  • 数字与事实走确定性系统:生成 SQL 或调 API,不信模型口算
  • 上线初期抽样人工复核,幻觉率进质量看板
  • 幻觉 case 回流评估集,作为回归用例持续盯着
  • RAG 系统用"检索为空 / 检索不相关"用例测过模型行为,不只测理想检索
  • 评估集分知识内 / 边界 / 诱导三类分别统计,模型版本升级后全量回归对比