混合决策模型学会「何时思考」：延迟降 72.5% 准确率反升

hbouammar · x · 2026-11-13

UCL 等机构团队发布论文《The Value of Thinking》，提出「zero-or-T 思考」范式：模型要么在单次前向传播中直接作答（0 token），要么在「思考价值」超过价格 λ 时启动完整自回归推理（T token）。

核心设计

• 混合决策模型（HDM）：一个冻结骨干网络服务快慢两种模式，轻量自路由块根据隐式思考的产出估计慢模式预期收益，逐请求决定是否切换。
• 针对无逐步标签的智能体任务，提出 CDPO（Calibrated Decision Policy Optimisation），用回合级回报做强化学习训练路由块。

关键结果

• JevBench：HDM-4B 准确率 0.857 vs Jev 的 0.851，中位延迟 0.179s vs 0.652s（降低 72.5%）。
• 达到「始终思考」90% 准确率仅需 103 个思考 token，比 always-thinking（591）少 5.7 倍。
• 智能体任务 MiniWoB 上 token 成本降低 80.1%，ALFWorld 降低约 52%；HDM-27B 路由模式达 0.987 @ 2.49s。
• 在 MMLU-Pro、AGIEval、GPQA-Diamond、BANKING77 等基准上用统一价格扫描即可覆盖大部分收益（88% 增益来自 62% 的 token）。

原文链接 →

「模型」频道最新

• 百度 ERNIE 5.5 Flash 独立 8 分钟产出 RSI 讲解短片,快过前沿模型 2-5 倍 — omarsar0 · 2026-11-13
• 模型快慢取决于任务：不同基准下的实际耗时对比 — rickasaurus · 2026-11-13
• Nebius 发布指南：SFT、偏好调优、RL 与蒸馏四种适配开源模型 — demian_ai · 2026-11-13
• Ling-3.2-flash 支持按请求开关 thinking 模式,同一模型分步调用 — siddhantfuture · 2026-11-13
• Google Grounded Search 免费额度名不副实:滚动 30 天窗口每天只放 166 次 — ItalyExpat · 2026-11-13
• 别怪模型贵:Fable 5.2 正确用法是把规划与写码分离,省下大量额度 — PrajwalTomar_ · 2026-11-13

更多「模型」频道 AI 资讯 →