所有流量都打旗舰模型,是 LLM 应用最常见的成本浪费;所有流量为了省钱都打轻量模型,则是最常见的质量事故来源。两个问题出自同一个根因:把模型选择当成了静态决策。正确做法是把模型选择变成运行时决策——路由系统按任务特征把请求分发到合适的档位,失败时沿降级链转移。本文覆盖路由维度、三种路由实现、降级链设计与失败转移细节。

为什么全用旗舰模型是错的

真实业务的流量结构通常是金字塔:大量简单任务(意图分类、字段抽取、格式转换、短问答)用轻量模型就能稳定完成,只有少量复杂任务(多步推理、长文写作、代码生成)才真正需要旗舰能力。全部走旗舰,等于为金字塔底部支付数倍单价,而底部恰恰是量最大的部分。反过来,全部走轻量模型,质量事故会集中爆发在长尾复杂任务上——而这类任务往往是最有价值的请求,出错的代价也最高。

所以结论不是"选 A 还是选 B",而是"让档位随任务走"。而"随任务走"这件事本身需要工程化:谁来判断任务特征、按什么规则映射档位、规则错了怎么发现,这些才是路由系统真正要解决的问题。

路由维度:复杂度、成本、延迟与能力

路由决策通常综合四个维度。复杂度:输入长度、推理深度、是否涉及多步工具调用,这是决定质量要求的主维度。成本:单位任务的成本上限、请求优先级(付费用户与免费用户可以有不同的档位策略)。延迟:实时交互要求首字快速返回,离线批处理则对时延宽松、对单价敏感。能力边界:长上下文窗口、结构化输出稳定性、代码能力、多模态——不同档位模型的能力差异并不均匀,路由规则要按能力缺口逐项映射,而不是笼统地"强的贵的"。

把四个维度落到典型任务上,可以得到一张初始映射表,作为路由规则的起点:

任务类型输入特征推荐档位映射理由
意图分类、敏感词过滤短输入、封闭输出集合轻量结果可校验,错误有兜底路径
信息抽取、格式转换中等输入、结构化输出轻量结构化任务轻量模型已足够稳定
客服多轮问答中等输入、需工具调用中档需要函数调用与一定的推理能力
复杂推理、代码生成、长文写作长输入、多步推理旗舰档位间质量差距在此才显著
离线批量摘要、打标大批量、无实时要求中低档时延宽松,成本是第一约束

这张表不是一次定死的:上线后要按真实分布持续校准,把"路由到旗舰但轻量大概率也能过"的流量逐步下沉,把"轻量质量投诉集中"的类别上浮。

路由实现:规则、分类器与级联

三种实现方式,复杂度递增,建议按顺序引入。第一种是规则路由:按接口来源、字段、输入长度等静态特征映射档位,实现成本最低,没有额外延迟,是所有团队的起点。第二种是分类器路由:用一个更小的模型(或规则与小模型混合)先对请求做复杂度与类别判断,再映射到档位;它能处理规则覆盖不了的长尾,但分类器自身会出错,必须单独监控分类错误率。第三种是级联路由:先由便宜档位尝试,对输出做质量校验(schema 校验、规则校验、置信度判断),校验不过再升级到旗舰重跑;适合"轻量大概率够用"的场景,代价是失败路径上的额外延迟。

规则路由的配置应该独立于代码,可灰度、可回滚:

# model-routing.yaml:模型路由规则配置
default_tier: "mid"                       # 无规则命中时的默认档位
rules:
  - match: { api: "/v1/classify" }        # 规则路由:按接口来源
    tier: "lite"
  - match: { task_kind: "extract", input_tokens_max: 8000 }
    tier: "lite"
  - match: { task_kind: "report" }        # 报告生成要求旗舰
    tier: "flagship"
  - match: { user_plan: "free", task_kind: "qa" }
    tier: "mid"                           # 分层策略:免费用户问答走中档
cascade:                                  # 级联:轻量先试,校验不过升旗舰
  - from: "lite"
    quality_check: { schema_validate: true, min_confidence: 0.8 }
    upgrade_to: "flagship"
    max_upgrades: 1
tiers:
  flagship: { model: "qwen-max",   timeout_s: 30 }
  mid:      { model: "qwen-plus",  timeout_s: 20 }
  lite:     { model: "qwen-turbo", timeout_s: 10 }

降级链设计:旗舰、轻量与兜底

降级链和路由是两件事:路由决定正常情况下用谁,降级链决定它不可用时用谁。很多团队把两者混为一谈,结果一旦主力模型限流,整个系统直接瘫痪。设计原则有三条。第一,链上每一档都要真实可用,链尾的兜底可以是"明确拒答加转人工",但不能没有兜底。第二,降级触发条件要明确区分:限流、超时、5xx 属于可转移失败,沿链移动;内容过滤拒绝、上下文超限属于请求本身的问题,换小档位没有意义,应走专门处理路径(例如上下文超限应切换长上下文模型,而不是降级)。第三,降级必须可观测:trace 记录实际使用的档位与降级原因,成本与质量报表按真实档位统计,否则降级会悄悄吃掉你的质量报表。

错误写法是所有流量压在单一档位上,失败即整体失败:

# 错误写法:硬编码旗舰模型,无降级链,限流即瘫痪
def summarize(ticket: str) -> str:
    resp = client.chat.completions.create(
        model="qwen-max",                            # 单一档位,单点
        messages=[{"role": "user", "content": ticket}],
    )
    return resp.choices[0].message.content           # 限流、超时直接抛异常

正确写法是先路由、后调用,失败沿降级链转移,链尾是明确兜底:

# 正确写法:先路由后调用,失败沿降级链转移,trace 记录实际档位
FALLBACK_CHAIN = {                  # 每个档位都有预定义降级链
    "flagship": ["mid", "lite"],
    "mid":      ["lite"],
    "lite":     [],                 # 链尾兜底在函数尾部统一处理
}

def execute(task: TaskRequest) -> str:
    tier = route(task)                       # 按路由规则选择初始档位
    for cand in [tier] + FALLBACK_CHAIN[tier]:
        try:
            result = call_model(TIERS[cand], task, timeout=TIERS[cand].timeout_s)
            trace.set_model(cand, fallback=(cand != tier))   # 记录降级事实
            return result
        except (RateLimitError, APITimeoutError) as e:       # 可转移失败
            trace.log_fallback(from_tier=tier, to_tier=cand, reason=str(e))
            continue
    return human_fallback(task)              # 链耗尽:转人工,而非返回空结果

失败转移与超时预算

失败转移的细节决定降级链是否真的可用。第一是超时预算分配:给整个请求设总预算,再为链上每档分配各自超时——旗舰的超时预算通常要大于轻量档,不能一刀切。第二是错误分类:可重试错误(限流、超时、5xx)触发退避重试或沿链转移;不可重试错误(内容过滤、上下文超限)直接走专门路径,避免无意义的换档重试。第三是状态保持:降级到更小档位时,上下文可能需要裁剪(超长历史、大块工具结果),裁剪策略要预先定义,而不是降级时临时发挥。第四是观测闭环:按档位统计成功率、延迟、成本三类指标,它们既是降级链健康度的仪表盘,也是路由规则下一轮迭代的依据。

实战场景

一个文档处理平台的变化过程能说明路由体系的落地路径。平台日均处理大量 OCR 后的抽取与分类请求,另有少量复杂报告生成。初期全部请求走旗舰,成本结构里抽取分类占了绝大部分调用量;一刀切换成轻量模型后,报告生成的质量投诉很快上升,抽取任务反而没有明显问题——这正是金字塔结构的直接体现。

整改分三步。第一步上规则路由:按接口路径区分任务类型,抽取与分类走轻量档,报告生成走旗舰档,规则进配置文件,可灰度可回滚。第二步加级联:轻量档的抽取结果先过 schema 校验,校验失败自动升级旗舰重跑,升级次数上限一次,避免失败路径上的成本失控。第三步补降级链:每个档位配预定义降级链,配额紧张时段报告生成自动降到中档并进入排队,trace 里记录每一次降级的档位与原因。

整改后最有价值的变化不是省了多少成本,而是成本与质量第一次变得可见:报表按真实档位拆分,哪个类别在用哪个档位、降级发生了多少次、发生在哪些时段,全部有数。路由规则随后依据这些数据又做了两轮校准,把部分抽取流量进一步下沉。整个过程没有动业务代码,改的都是路由与降级配置。

检查清单

  • 模型选择是运行时路由决策,代码中不存在全量硬编码的单一模型
  • 路由规则覆盖复杂度、成本、延迟、能力四个维度,且独立于代码进配置
  • 每个档位都有预定义降级链,链尾是明确兜底(拒答或转人工)
  • 降级触发条件区分可转移失败与请求自身问题,不做无意义换档
  • trace 记录实际使用的档位与降级原因,报表按真实档位拆分统计
  • 级联升级有质量校验与次数上限,失败路径延迟在可接受范围内
  • 路由与降级规则的变更走灰度,有回滚手段
  • 定期审计路由命中率与降级分布,依据数据校准规则