研究博客:loop 模型让 contrastive decoding 更接近序列级引导,成 LLM 外挂
niloofar_mire · x · 2026-11-01
Xiaoyu Wu、Yifei Wang、Niloofar Mireshghallah 与 Steven Wu 发布博客,解释为何 looped language models(如 Huginn、Ouro)让 guidance/contrastive decoding 首次稳定生效。
- Loop 模型反复施加同一层块来精炼隐状态,在同参数量下推理任务可超过非 loop 模型。
- 关键发现:与非 loop 模型相比,loop 模型在不同循环深度的预测更相似,这使得早期 logits 与最终 logits 之差能更接近序列级引导,contrastive decoding 式的增益因此更显著。
- 具体机制:用 zguided = zK + w(zK − zE) 在最终预测上外推,放大早期与最终循环间 token 分数的变化。
- 作者认为这把语言模型与 diffusion 模型的引导机制联系得更紧密,guidance 正成为 LLM 推理的 cheat code。
「模型」频道最新
- 一张照片还原 JoyToy 摩托 3D 模型：Kimi 逼近原物，Claude 拒绝任务 — minchoi · 2026-11-01
- Bindu Reddy 预告三款神秘新模型：Astra 6.1 或于下周中期选举后首发 — bindureddy · 2026-11-01
- 爆料称谷歌下一个爆款模型 Carbon 定价约为 Opus 5.5 五折 — bindureddy · 2026-11-01
- LiquidAI 上架 d1-2B 决策模型，社区称效果好得离谱 — JosephJacks_ · 2026-11-01
- ChatGPT 给出 8/10 音乐相似度分析：Paul Anka 两首金曲确系近亲 — doodlestein · 2026-11-01
- Ethan Mollick 回顾:GPT-4 曾霸榜一年,两大猜测答案都是否 — emollick · 2026-11-01