结论先行:长任务失败的主因不是模型不够聪明,而是走出十步后忘了初衷、走偏了也没有机制把它拉回。规划(先拆步骤)、显式任务清单(todo 进上下文)、反思(关键节点自查)是三个成本低、见效快的机制。但每个机制都要花额外 token,简单任务不要套。
为什么长任务会"漂"
上下文越长,开头的目标越容易被稀释——原始需求在几十条消息之外,模型每一步都在被最近的工具结果重新定义"我现在该干什么"。中间某步工具结果把模型带偏后,没有外力它不会自己回头:一次报错、一条异常数据,都可能让后续推理在错误前提上越走越远。步骤多了还会漏做——八个子任务干完六个就交差,因为没有任何机制在数着"还剩什么没干"。这三个症状(漂移、跑偏、漏做)分别对应三个机制。还有一类更隐蔽:模型在等待外部确认时开始自由发挥,把"等待"当成"继续"往下走——长任务的状态表达里要显式区分"等待中",这也是任务清单需要 blocked 状态的原因之一。
规划:先拆再干
任务复杂度超过"一两次工具调用"时,先让模型产出显式计划再执行。计划的写法本身有对错:
# 错误写法:把规划当口号,计划不存在于任何可校验的地方
plan = llm(f"请仔细思考怎么完成这个任务:{task}")
# 正确写法:计划是结构化对象,可校验、可修订、可追踪
plan = llm_json(
"把任务拆成有序步骤,输出 JSON 数组,每项含 id、goal、depends_on。"
"只拆到可直接执行的粒度:每步一次工具调用或一次可判断。",
{"task": task})
assert all(set(item) >= {"id", "goal", "depends_on"} for item in plan) # 结构校验
两个要点:计划是给模型自己看的路标,粒度到"一步能执行"即可,过度拆解只是浪费 token;执行中发现计划不合理时要允许修订,而不是硬着头皮走完——修订动作也要写进上下文,让模型知道"路线改过",否则它可能按旧计划回头补做已废弃的步骤。修订要有度:小偏差微调步骤即可,方向性错误才重排计划——每次重排都会重置模型的进度感,频繁重排等于没有计划。
任务清单:把进度放进上下文
比计划更进一步的是持续维护的任务清单。每完成一步就更新状态并把最新清单放回上下文,模型随时能看到"总目标还剩什么":
{
"task": "排查工单 FY1001 处理时效异常",
"items": [
{"id": 1, "goal": "查询工单当前状态", "status": "done"},
{"id": 2, "goal": "对比该工单各环节流转时间戳", "status": "done"},
{"id": 3, "goal": "定位滞留环节并给出结论", "status": "in_progress"},
{"id": 4, "goal": "输出排查报告", "status": "pending"}
]
}
清单同时解决"漏做"和"漂移":pending 项就是欠账,in_progress 就是当前焦点。状态枚举建议固定四个:pending、in_progress、done、blocked——blocked 把"卡住了"变成显式状态,触发升级而不是空转。注意清单要整体替换进上下文而不是追加——追加会产生多个版本的清单,模型不知道哪个是最新状态。
反思与自我修正:在关键节点设检查站
反思不是每步都做(成本翻倍),而是在两个位置设检查站。任务收尾时:让模型对照原始需求逐条自查(“需求里的三点是否都覆盖?结论是否有依据?"),一次收尾自查能抓住大部分"答非所问”。关键动作前:高危或不可逆操作(退款、批量修改)执行前,让模型先陈述"我准备做什么、依据是什么",人审或规则审通过再放行。
自查 Prompt 的质量决定反思的价值:“检查一下有没有问题"只会得到"没有问题”;“对照用户原始诉求逐条列出覆盖情况,每条标注依据来自哪一步观察"才会产生可核对的自查结果。自查输出建议结构化(逐条 pass/fail 加依据),fail 项直接触发修正循环——这样反思不是表演,而是带出口的关卡。高危动作前的陈述检查站还顺带产出审计材料:“我准备做什么、依据是什么"的陈述本身就是可回溯的决策记录,比事后补记可靠。
自我修正的闭环靠错误回传:工具报错、校验失败的信息作为 observation 送回上下文,模型修正后重试。必须配熔断——同一操作连续失败三次就停下转人工,因为第三次之后的"重试"大概率是在幻觉里打转。熔断阈值也不是拍脑袋:取评估集里正常修正所需的最大重试次数再加一。
for attempt in range(MAX_RETRY): # 熔断:防幻觉循环
result = execute(step)
if result.ok or not result.retryable:
break
feed_back(step, result.error) # 错误信息回传上下文
else:
escalate_to_human(step) # 超限转人工
机制怎么选:按需叠加
| 机制 | 解决什么 | 成本 | 适用信号 |
|---|---|---|---|
| 裸跑 | —(基线) | 最低 | 步骤少、路径确定 |
| 规划 | 漏做、顺序错 | 一次额外调用 | 步骤间有依赖关系 |
| 任务清单 | 长任务漂移与漏做 | 每步更新与重注入 | 步骤多、可能中断恢复 |
| 反思 | 答非所问、危险误操作 | 收尾或关键节点翻倍 | 失败代价高、操作不可逆 |
判断标准很简单:任务步骤少、路径确定时,规划反思全是开销;步骤多、路径不确定、失败代价高时,这些机制才回本。先让裸跑的 Agent 过评估集,看它具体在哪类 case 上漂移,再按需加机制——不要一次性全上,否则你既付出了全部成本,也说不清每个机制各自的贡献。另一个实用判断:任务可以拆成"确定的前半程 + 不确定的后半程"时,前半程用固定代码走,只给后半程上机制——机制的成本按步骤数摊销,能省一半。
实战场景
排查工单时效异常的长任务:第一版裸跑,模型查完两个环节就开始写报告,漏掉了"对比承诺时效"这一步。加任务清单后漏做消失,但出现新问题:第三步查到的异常数据把模型带偏,报告结论变成指责司机轨迹造假,而真正根因在调度配置的时效计算错误。加收尾自查后,模型在自查环节发现"指责司机的结论没有对应的轨迹证据”,主动回到轨迹环节补查,最终报告改写为配置问题并附上了时间戳对比依据。整条链路的机制是分三次加上去的:先裸跑看它具体在哪类 case 漂,再加清单治漏做,最后加检查站治跑偏——每次只加一个机制,评估集上验证增量效果。如果一开始全上,这套机制大概率会因为"成本涨了但说不清哪步起了作用"而被整体砍掉。这条经验的通用版本:给长任务加机制时,每个机制都要能独立开关,开关的依据是评估集上该类漂移 case 是否转绿。
检查清单
- 任务超过一两次工具调用时才启用规划,粒度到"一步可执行”
- 计划结构化(id/goal/depends_on)并通过代码校验
- 计划允许修订,修订动作写进上下文
- 任务清单整体替换进上下文,不追加多版本
- 清单状态语义明确:pending 是欠账,in_progress 是焦点
- 反思只在收尾与高危动作前设检查站,自查标准逐条可核对
- 错误信息回传触发自我修正,同一操作三次失败熔断转人工
- 机制逐个叠加并在评估集验证增量,不一次性全上