结论先行:三者解决的是不同层面的问题——提示工程改变"这一次怎么答",RAG 补"模型不知道的知识",微调改"模型的长期行为习惯"。知识频繁变化选 RAG,固定风格与格式且量大到值得训练时选微调;其他一切问题,先从提示工程开始。多数业务需求,提示工程 + RAG 就够了,微调是最后才考虑的重武器。

先诊断问题出在哪

模型答得不对,先分清是"不知道"还是"不会说":

  • 不知道:私有数据、新政策、实时信息——知识缺失,RAG 或直接外挂工具是正解;
  • 不会说:答案其实在,但格式乱、语气不对、不按套路输出——行为问题,提示工程通常能修,修不动再考虑微调。

诊断错了方向,后面全白费:给知识缺失的问题狂调 prompt,或者为格式问题花钱训练,都是常见浪费。

再加一个实用判别法:把同一问题连问几遍并换个说法再问。如果换个措辞答案质量剧烈波动,多半是知识缺失——碰运气碰到了训练数据里的相关内容;如果次次都稳定地错在同一个点上(比如总把百分比写成小数),多半是行为习惯问题。前者上 RAG,后者先 prompt 后微调。

诊断之外再补一条经验:把失败案例按上面两类分桶统计。拿 50 条模型答错的样本,人工逐条标"知识缺失/行为偏差/资料本身有误/问题有歧义",分布一出来,该走哪条路、投入多少,就不用争论了——这一小时的标注比任何会议都有效。

三种手段对比

维度提示工程RAG微调(SFT/LoRA)
改什么单次调用的输入上下文里喂什么知识模型参数本身
成本几乎为零向量库 + 检索链路,中GPU + 标注数据,高
周期分钟级天级数天到数周
知识更新不涉及改文档即生效,近实时固化进权重,更新要重训
擅长格式约束、few-shot、角色设定私有知识问答、时效性问答风格/领域话术、稳定格式、小模型替代大模型降本
主要风险长 prompt 挤占窗口、可维护性检索不准则满盘皆输过拟合、灾难性遗忘、评测成本

决策路径

  1. 默认起点:提示工程。把角色、任务、约束、输出格式、few-shot 示例写清楚,配评估集验证。80% 的"模型不听话"到这一步就结束了。
  2. 知识缺失:上 RAG。内部文档问答、政策解读、客服知识库。知识更新频繁是强信号——只有 RAG 能做到"改文档当天生效"。
  3. 提示工程压不住的行为问题:考虑微调。典型信号:产出风格有严格的业务规范(话术、法律文书格式);模型反复违反某个格式约定;或者你想把大模型的能力蒸馏到小模型上降本——这时微调小模型 + 简化 prompt 的组合往往划算。

路径上还有一个常见弯路值得点名:为了"省 token 费"而微调。正确的降本路径通常是先降模型档位、再上缓存,微调降本排最后——用小模型加微调逼近旗舰质量,这条路成立的前提是任务窄、数据足、评估稳,三个条件缺一个,省下的 token 费都会赔进训练和运维。

代码:few-shot 是提示工程的杀手锏

分类任务几乎不需要微调,几个示例就能稳定住格式:

from openai import OpenAI

client = OpenAI()

system = """你是客服工单分类器。只输出类别名,不要任何解释。
类别:账务、技术、投诉、其他。

示例:
输入:这个月怎么扣了我两次钱?
输出:账务
输入:App 一打开就闪退
输出:技术
输入:你们这个系统太烂了,我要投诉
输出:投诉"""

resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "输入:运费怎么又多收了十块钱"},
    ],
    temperature=0,
)
print(resp.choices[0].message.content)  # -> 账务

同样的任务,如果分类标准一个月改三次,答案显而易见:改 prompt 或改 RAG 里的规则文档,绝不要走重训的路。

诊断环节同样可以先写代码验证方向。最常见的一个误判是把"知识缺失"当 prompt 问题硬调,对比一下:

# 错误写法:公司私有制度问题,靠加压 prompt 逼模型"必须知道"
bad_system = (
    "你是公司制度专家,必须准确回答所有制度问题,禁止说不知道。"
    # 模型参数里根本没有你们的制度内容,加压只会让它编得更自信
)

# 正确写法:承认知识缺失,检索原文注入上下文,保留拒答出口
good_system = (
    "你是公司制度助手。仅根据 <context> 标签内的制度原文回答,"
    "资料中没有的规定,固定回答'制度中没有相关规定'。"
)

最后一问:什么时候才真的需要微调

决定走微调路线前,把账算全。显性成本是 GPU 时和标注:千条级高质量标注(问题 + 理想回答对)是起步量级,拿质量差的数据微调,出来往往不如原模型。隐性成本更贵:每次基座模型升级都可能要重训;评测体系必须先建好,否则无法证明"微调后更好";灾难性遗忘要专门用通用能力回归集盯着。

方式上,当前业务微调的默认选择是 LoRA 一系,不全参重训:

方式训练什么显存门槛适用场景
全参 SFT全部权重大,多卡起步数据充足、预算充足、追求上限
LoRA冻结原权重,只训低秩增量中,单张专业卡可训绝大多数业务微调的默认选择
QLoRA4-bit 量化基座 + LoRA 增量小,消费级显卡可训显存受限的验证与小规模任务

满足"数据量大(千条以上高质量标注)、分布稳定、要求固定、且提示工程已尝试失败"这四条,微调才开始划算。另外记住:RAG 和微调不是二选一,成熟系统常见组合是微调让模型学会"怎么用检索回来的资料",RAG 负责"资料本身永远新鲜"。先跑通廉价方案,再为剩下的差距付出训练成本。

训练完成后还有一段容易被低估的工程:微调模型的部署与版本管理。权重是资产,要有版本号、评估报告和回滚方案;LoRA 增量文件与基座版本要配对记录——基座升级而增量不重训,是常见的"悄悄变差"事故源。

实战场景

一个客服团队的真实取舍:新渠道上线,要求助手按公司话术手册回答,且语气必须统一。第一反应是微调,标注预算都报上去了。先花三天做了对照实验:话术手册切块入库走 RAG,prompt 里放两个标准话术示例作 few-shot,配 200 条标注评估集打分——结果达到业务验收线,微调立项暂缓。半年后才真正用到微调:公司要把旗舰模型的分类质量搬到 7B 小模型上降本,这次满足全部四个条件(两万条历史工单、分布稳定、要求固定、prompt 已调到头),用 LoRA 微调小模型加精简 prompt,评估达标后替换上线。这个案例的顺序值得记住:先用便宜手段摸清问题边界,微调只在"降本蒸馏"和"行为硬约束"两类场景里兑现价值。

检查清单

  • 动手前先诊断:知识缺失还是行为问题,方向错了全白费
  • 默认从提示工程起步,配评估集验证,别直接跳到重武器
  • 知识更新频繁或需权限控制选 RAG;格式风格硬约束且数据充足才考虑微调
  • 微调用 LoRA/QLoRA 起步,不全参重训
  • 微调前备齐:千条级高质量标注、评估集、通用能力回归集
  • 微调与 RAG 可组合:微调学"怎么用资料",RAG 保"资料新鲜"
  • 每次基座模型升级,把重训与评测成本算进选型