苹果发布 LoopCD:免训练解码让 Looped Transformer AIME 提分超 11 个点
burny_tech · x · 2026-10-02
苹果机器学习研究团队(Apple MLR)发布论文《Decoding Looped Transformers Better for (Almost) Free》,提出推理时解码方法 LoopCD。
- 核心思路:Looped Transformer 通过共享模块循环复用参数,每次循环都会产生一个可解码的中间表示,但标准解码会丢弃早期状态。LoopCD 用对比解码(contrastive decoding)把最终预测与早期循环的预测做对比来引导 token 选择,无需训练、无需额外模型。
- 两种实现:LoopCD-Logits(logit 空间,需一次额外输出计算)和 LoopCD-Hidden(隐状态空间,零输出开销)。
- 效果:Ouro-2.6B-Thinking 在 AIME 2024 pass@1 从 61.88% 提到 73.33%;Huginn 在 HumanEval 从 22.6% 提到 31.7%。只用一半循环深度即可匹配全深度表现,前向 FLOPs 最多省 48.2%。
作者还回应了关于 GPT-6 Astra、Gemini 4 可能使用 Looped Transformer 的传闻,称该方法可让预训练 looped 模型几乎免费地变强。
所属事件:苹果推出 LoopCD:免训练解码让循环 Transformer 大幅涨分省算力(4 条相关)→
「Infra」频道最新
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19