结论先行:Prompt 工程优化的只是"指令怎么写",上下文工程决定的是"每一轮模型到底看到什么"——系统提示、工具定义、历史消息、检索内容、工具结果的取舍与形态。上下文窗口是最稀缺的资源,塞满它就是亲手制造遗忘和干扰。

上下文不是只有 Prompt

一个生产 Agent 的上下文至少有五类成分,提示工程只管第一类,而实际翻车的重灾区恰恰是后三类:

成分作用常见问题
系统提示定位、约束、输出契约越写越长,约束之间互相冲突
工具 Schema告诉模型有什么能力工具堆积,职责重叠诱导选错
对话历史维持多轮连贯无限增长,早期目标被稀释
检索内容补充业务知识不筛选、全文注入、串味
工具结果提供事实依据过程数据长期滞留

模型的注意力是零和的:一个 token 在场,就分走一份注意力。上下文工程的全部工作,本质上是决定"谁有资格在场"。

一个有用的实践是给上下文记账:把窗口预算按五类成分分配配额,组装时逐类检查用量。没有预算概念,膨胀是静默发生的——每次加一点"有用的信息",直到某天关键约束被挤出注意力,你才开始排查为什么模型"变笨了"。

三个最常见的污染源

工具结果污染。一个返回 30 字段 JSON 的接口,调三次就是几千 token 的过程数据,它们对回答毫无用处却持续占用注意力。过程数据还有一个隐蔽毒性:残留的旧结果会和新结果打架,模型不知道该信哪一次的返回。先看两种典型错误:

# 错误写法一:全量入库,30 字段实体原样进上下文
context.append(json.dumps(raw_order, ensure_ascii=False))

# 错误写法二:无脑硬截断,截掉的往往恰是关键字段
context.append(json.dumps(raw_order, ensure_ascii=False)[:500])

硬截断比全量入库更隐蔽:截断位置在字符层面,砍掉的可能是状态字段,留下的是创建时间。正确的做法是按字段白名单裁剪:

def slim_result(tool_name: str, raw: dict) -> str:
    """工具结果进上下文前裁剪,只留模型需要的字段"""
    keep = RESULT_FIELDS.get(tool_name)          # 每个工具登记"模型关心的字段"
    slim = {k: raw[k] for k in keep if k in raw} if keep else raw
    text = json.dumps(slim, ensure_ascii=False)
    return text if len(text) <= 2000 else summarize(text)   # 超长兜底摘要

登记字段白名单看起来繁琐,实际是几行配置的事,收益却贯穿全程:上下文更小、注意力更集中,白名单同时成为返回值接口文档的一部分。维护时机挂在工具变更流程上——改返回字段必须同步改白名单,否则裁剪悄悄失效。

历史无限增长。多轮工具调用的轨迹增长极快,解法是滑动窗口加摘要压缩。这里补一条原则——过程数据与结论数据分家:中间工具结果用完即可被摘要替代,但"已确认的事实、用户的原始诉求"必须原文保留。

检索内容不筛选。RAG 场景把 top-k 全文直接塞进去,等于让模型在一堆半相关文本里自己找答案。按相关度阈值截断、按段落裁剪、必要时先让模型看标题再决定读哪篇(按需加载),都比全量注入强。按需加载的粒度也有选择:给标题列表最省但模型判断最粗,给摘要列表更准但更贵——选择标准是让模型能用一次低成本浏览做对"读哪篇"的决策。

手法清单

按投入产出比排序:

  1. 裁剪:工具结果白名单字段 + 长度上限,一个函数统一处理——统一处理的意义在于新增工具时默认安全,而不是靠每个调用点自觉。
  2. 压缩:历史超阈值就摘要化,保留目标、事实、决定。压缩要用独立的一次调用做,不要让主对话模型"顺便"压缩——注意力分给压缩任务,当前回答的质量就会掉。
  3. 按需加载:先给模型目录或摘要,它需要细节时再读全文——把"读文件"做成工具,比把文件全贴进 Prompt 更省。
  4. 隔离:把相互独立的子任务分给子 Agent,各自干净的上下文。
  5. 定位:关键约束放在上下文两端而不是中部,长上下文中部的内容更容易被"看丢"。工程上的对应动作很朴素:每次组装后检查关键约束的位置,必要时在结尾重申一遍最重要的要求——重复的代价远小于被看丢的代价。

这份清单的使用方式不是全上,而是对着翻车 case 找:忘了早期指令的加压缩,被工具结果淹的加裁剪,检索串味的加筛选。

与提示工程的关系

不是替代关系。上下文工程决定模型的"工作台"上摆了什么,提示工程决定"操作手册"怎么写。工作台乱了,手册写得再好也没用——一个被三十个工具定义和五篇检索全文塞满的上下文里,任何 Prompt 技巧都是次要变量。

实操上的检查方法很朴素:把一次真实请求的完整上下文打出来自己读一遍。多数人第一次做这件事的观感是震惊——你会发现大量根本不需要在场的 token:上上轮的报错堆栈、两轮前已经用过的查询结果、五篇只用到一篇的检索全文。这个动作应该变成习惯:每次改完上下文组装逻辑,打印、通读、删掉读起来对回答没有贡献的部分。

两者分工也有协作上的含义:写 Prompt 的人要能看到完整上下文才能判断指令为什么失效,做组装的人要理解 Prompt 意图才能决定取舍。生产事故里最常见的扯皮——“Prompt 没写对"“上下文给的不对”——靠打印一次完整上下文就能一锤定音,先看现场再争论。

实战场景

知识库问答 Agent 翻车:运营知识库的文章很长,检索 top-5 全文注入后回答开始串味——把 A 文章的赔付口径安到了 B 业务的问题上,运营复核时才发现。改造分三步。第一步,检索结果按相关度阈值过滤,低于阈值的整篇丢弃,留下的按段落裁剪只保留命中章节,不再整篇注入。第二步,给 Agent 加"目录工具”:先给文章标题与摘要列表,模型判断需要细节时再调工具读指定篇目——从"全部摆上桌"变成"按需取用"。第三步,做了一次上下文自检:打印当天真实请求的完整上下文,发现占大头的是三次工具调用的全量返回,而上文早有结论的业务字段每次都重复在场;按白名单裁剪后,同样的串味 case 在评估集里全部消失,单次请求的上下文体积也明显缩小。这次改造没有动一行 Prompt——串味的根因不在指令怎么写,在模型看到了什么。

检查清单

  • 定期打印真实请求的完整上下文,通读并删掉无贡献的 token
  • 工具结果按字段白名单裁剪,不做字符级硬截断
  • 超长工具结果兜底摘要,摘要保留结论与关键字段
  • 过程数据与结论数据分家:事实与用户原话原文保留,中间结果可摘要化
  • 历史超阈值走滑动窗口加摘要压缩
  • 检索内容按相关度过滤、按段落裁剪,不整篇注入
  • 大文档用"目录 + 按需读取"替代全文预载
  • 关键约束放在上下文两端,不埋在中部