Decoupled Predictive Decision Making: A Shared Conditional Predictor for Agents
Lang Mo, Xingxuan Zhang, Qi Wang, Mingchao Hao, Hao Yuan, Chunjing Gan, Wang Lu, Peng Cui
cs.AI
2026-11-02
DPDM 把冻结的语言模型当作语义编码器,用同一个冻结的 LimiX-2 按历史做条件预测。Qwen3.5-27B 在 50 个基准上的平均准确率,从 few-shot 的 78.80% 升到 84.92%,历史与查询对齐时为 82.33%。
Agent 选不选工具、偏好哪条候选、判某步推理对不对,取决于部署现场攒下的经验关系。任务说明经常留着开口:同一个动作,换一批反馈,对错会翻。
常见做法把读懂问题、从历史归纳关系、给出答案绑进同一个语言模型。few-shot 把历史和当前问题塞进一条上下文。ExpeL 抽取经验再检索,Rememberer 用强化学习更新外部记忆,DPT 从交互上下文预测动作。推断这一步仍换不下来,它嵌在语言模型或任务模块里。两类误差搅在一起:历史里没有的,和学习器漏掉的。
DPDM(Decoupled Predictive Decision Making)把决策写成条件预测。任务说明书规定可见字段、预测目标的含义、候选集合。历史是已经知道目标的记录,当前问题是目标未知的查询。
语言模型只做语义编码器,把每条记录和候选描述变成向量。条件预测器是 LimiX-2,一个在结构化数据上预训练、本次全部实验冻结的模型。它读这些向量和单独送入的历史标签,给出各候选的概率,决策取概率最大者。工具适用、候选偏好、步骤对错,是不同目标,接口相同:表征后的历史、历史标签、当前查询。
三处设计和 few-shot 分开。历史标签不进编码提示,免得表征时把答案抄进去。记录逐条编码,长度不被一条提示的窗口卡住,FaithDial 因此用到 8192 条。两个网络的权重不动,新反馈只追加进历史,特征适配器在新历史上重拟合。五类任务、Qwen3.5 和 Llama-3.1 几套编码器,共用一个 LimiX-2 checkpoint。
把它看成不断加行的表即可。语言模型负责把文本变成列,LimiX-2 按旧行预测新行标签。
50 个基准、82 个任务配置,五类:agent 任务、知识问答、证据一致性、安全与可靠性、语言理解。基准内先平均任务配置,再对基准等权。对照是同一模型的 zero-shot 与 few-shot,以及 Jev API v1.13.0。DPDM 取三次抽样历史的均值。
| 编码器 | Zero-shot | Few-shot | DPDM |
| Qwen3.5-4B | 64.56% | 60.51% | 80.78% ± 0.11 |
| Qwen3.5-9B | 69.92% | 65.03% | 82.27% ± 0.15 |
| Qwen3.5-27B | 74.02% | 78.80% | 84.92% ± 0.14 |
| Llama-3.1-8B | 53.49% | 41.87% | 77.57% ± 0.13 |
| Jev API | 75.94% | 79.30% | 未接入 |
这张表的 DPDM 用各自预算下跑完的最长历史,条数可以多于 few-shot。Qwen3.5-27B 从 78.80% 到 84.92%,50 个数据集中 46 个上升;两个小 Qwen 为 50/50,Llama-3.1-8B 为 49/50。4B、9B 和 Llama 的 few-shot 都低于 zero-shot,历史塞进较小上下文,在这套评测里是减分。
记录、顺序、查询完全对齐后,27B 只剩 82.33% 对 78.80%,多 3.53 个百分点。4B 为 78.37% 对 60.51%,9B 为 80.08% 对 65.03%,Llama-3.1-8B 为 73.83% 对 41.87%。
Agent 类主对比仍是各自最长历史。Qwen3.5-27B 从 76.41% 到 85.18%,9B 从 64.30% 到 83.16%,Llama 从 40.77% 到 79.73%。工具侧的大数也是各自预算:BFCL 从 42.59% 到 76.85%(多 34.26 个百分点),ToolSandbox 从 68.04% 到 96.91%(多 28.87 个百分点)。CodeCritic Code 从 76.82% 到 90.85%,QA 从 65.85% 到 76.62%。正文没给这两个工具任务的对齐历史分项。图 5 里 few-shot 停在 64 或 128 条,Jev 停在 16 或 32 条。FaithDial 上 DPDM 用 8192 条到 83.53%,few-shot 用 512 条是 54.70%。
21 个共同基准上,历史从 32 加到 8192,每一档都涨。27B 从 75.48% 到 84.87%,4B 从 69.78% 到 80.98%,9B 从 72.65% 到 82.33%,Llama 从 63.81% 到 78.74%。
一边倒的标签会把 few-shot 拽向多数类。BIG-Bench Mistake 五任务、7032 个查询,对齐历史 128 到 1024 条,正确步骤占 66.41% 到 95.31%。平均 balanced accuracy 从 59.86% 到 74.37%,多 14.51 个百分点;五任务的均值都升,20 组编码器与任务里 18 组升。Object tracking 共用 689 条历史(77.36% 正确)和 462 个查询:27B few-shot 的 balanced accuracy 69.07%、普通准确率 84.85%,104 个错步只拒 42 个;DPDM 为 92.62% 和 94.37%,拒 93 个,正确步骤接受率 95.81%。
六个任务、128 条历史、737 个查询上,原配对 80.71% ± 0.41,打乱标签 50.13% ± 0.80,永远选最常见标签 50.52% ± 1.50。128 行里,16 条重复八次只有 64.79% ± 2.02,128 条不同记录仍是 80.71%,差 15.92 个百分点。八任务、18759 个查询,历史上限 512 时,去掉语义特征从 80.42% ± 0.33 掉到 63.95% ± 0.31,打乱标签掉到 48.78% ± 1.99。
五任务、历史对齐、各 256 个查询,全流程 GPU 时间(含历史准备)平均是带缓存 few-shot 的 19.7%,少 80.3%。历史编码可复用。
做 agent 时,编码器与预测器可以分开换。更强的 Qwen 仍配同一个冻结的 LimiX-2。预测器若变强,工具判断、偏好和步骤评估可以一起变准,不必按角色重训。更新的是历史表,权重不动。
没有观测到的目标,表里就没有可学习的列。工具对不对、步骤对不对,都得先有反馈。
27B 在对齐历史上只多 3.53 个百分点,是渐进改进。大数字来自两处:小模型 few-shot 已经低于 zero-shot,以及历史可以长过一条提示。摘要里的 84.92% 和 BFCL 的 34.26 个百分点,把「吃得下更长历史」算了进去。
主表和工具任务的大幅提升,用的是各自预算下的最长历史。处理一条记录的成本不同,DPDM 通常喂得更多。同证据的总体对照是 82.33% 对 78.80%,工具任务没有对齐历史的分项。图 5 里 Jev 只有 16 或 32 条历史,和更长历史的曲线并排。
引言写了 ExpeL、Rememberer、Algorithm Distillation、DPT、PreDeToR、SayCan。实验对照停在 prompting 和 Jev API。共享预测器是否强过这些经验方法,正文没有数字。
决策是在给定候选上取最大概率。开放式生成下一步不在评测里。五类里有知识问答和语言理解,AG News、TREC、FaithDial 更像嵌入后的表格预测。agent 叙事主要靠工具与步骤评估,而这组又是不等历史预算。
条件预测器只试了 LimiX-2 一个 checkpoint。4B、9B 和 Llama 的 few-shot 低于 zero-shot,小模型上的大差距,有一部分是基线退步。表征网络不随部署更新,重拟合的只有特征适配器。