苹果发布 LoopCD：免训练解码让 Looped Transformer AIME 提分超 11 个点
burny_tech · x · 2026-10-02
苹果机器学习研究团队（Apple MLR）发布论文《Decoding Looped Transformers Better for (Almost) Free》，提出推理时解码方法 LoopCD。
- 核心思路：Looped Transformer 通过共享模块循环复用参数，每次循环都会产生一个可解码的中间表示，但标准解码会丢弃早期状态。LoopCD 用对比解码（contrastive decoding）把最终预测与早期循环的预测做对比来引导 token 选择，无需训练、无需额外模型。
- 两种实现：LoopCD-Logits（logit 空间，需一次额外输出计算）和 LoopCD-Hidden（隐状态空间，零输出开销）。
- 效果：Ouro-2.6B-Thinking 在 AIME 2024 pass@1 从 61.88% 提到 73.33%；Huginn 在 HumanEval 从 22.6% 提到 31.7%。只用一半循环深度即可匹配全深度表现，前向 FLOPs 最多省 48.2%。
作者还回应了关于 GPT-6 Astra、Gemini 4 可能使用 Looped Transformer 的传闻，称该方法可让预训练 looped 模型几乎免费地变强。
所属事件:苹果发布 LoopCD 免训练解码方法提升循环 Transformer 性能(3 条相关)→
「Infra」频道最新
- mamf-finder 升级：支持 FP8/MXFP4/NVFP4 实测 GPU 真实 TFLOPS — StasBekman · 2026-10-03
- 实测 B200：nvfp4 比 mxfp4 省 9% 算力且精度更高，Blackwell 起建议选前者 — StasBekman · 2026-10-03
- LithosAI 发布 LithosBox：毫秒级快照分叉的 Agent 沙箱 — JiaZhihao · 2026-10-03
- 传 RTX Spark 笔记本 10 月 7 日发布,24GB-128GB 售 1800-2900 美元 — Porespellar · 2026-10-03
- 呼吁 Qwen4 27B 搭载可卸载到内存的 100B+ Engram — casper_hansen_ · 2026-10-03
- Hugging Face 发布 State of Local AI 2026:单卡游戏 GPU 已达年初顶级水平 — Scobleizer · 2026-10-03