HDM 论文:单次前向「零思考」省 80% token,精度基本不损
pmttyji · reddit · 2026-11-16
论文提出 zero-or-T thinking 范式与混合决策模型(HDM):不同于调整思考长度或切换模式,模型要么在单次前向传播内用「隐式思考」直接作答(零生成 token),要么在值得时付出 T 个 token 做完整自回归推理。
核心机制
- 一个冻结的 backbone 服务两种模式,轻量级 self-routing 块根据隐式思考已产出的信息估计「思考的价值」(慢模式相对快模式的预期增益)
- 只有当该价值超过按请求设定的价格 λ 时才启动慢模式
- 在没有逐步标签的情形(如 episodic agent 任务)下,提出 Calibrated Decision Policy Optimisation(CDPO)强化学习方法,用整段回合回报训练路由块
评测结果
- 在 MMLU-Pro、AGIEval、GPQA-Diamond、JevBench、BANKING77、MiniWoB 上评估
- JevBench 上 HDM-4B 得分 0.857(Jev 为 0.851,+0.7%),中位延迟 0.179s 对 0.652s(快 72.5%)
- Agent 任务 MiniWoB 上 HDM-27B 将 token 成本降低 80.1%
论文、代码与 HDM blocks 权重均已开源(arXiv、GitHub、Hugging Face)。
「研究」频道最新
- Big Data Cup 2027 开赛:首次开放 60Hz 门将 3D 关节与冰球追踪数据 — StatsbyLopez · 2026-11-16
- ML 学者 Dominik Grimm 出任慕尼黑工业大学可持续过程机器学习教授 — kmborgwardt · 2026-11-16
- 图学习学者 Dexiong Chen 出任港科大(广州) AI 方向助理教授 — kmborgwardt · 2026-11-16
- Gamer:数万小时键鼠轨迹预训练的通才游戏智能体框架 — pmttyji · 2026-11-16
- AI 论文作者遭掠夺性期刊围猎:垃圾邀稿邮件狂轰滥炸疑似收费骗局 — letandrewcook · 2026-11-16
- AI 能否被「修好」?新博文逐一检视数据与版权难题 — pbloemesquire · 2026-11-16