Apple 提出 LoopCD：免费为循环 Transformer 提速减算 22-48%
apple · hf · 2026-10-02
Apple 在 Hugging Face 发布训练无关的对比解码框架 LoopCD，针对循环（Looped）Transformer。
- 原理：循环 Transformer 反复执行共享块，每次循环都会产生同一 token 的中间表征；标准解码丢弃早期状态，而早期循环计算量小，天然构成「弱-强」预测对，无需辅助模型即可做对比解码
- 两种模式：LoopCD-Logits 用一次额外前向在 logit 空间对比；LoopCD-Hidden 在隐状态空间对比，零输出开销
- 效果：Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提到 73.33%；Huginn 的 HumanEval pass@1 从 22.56% 提到 31.71%
- 更关键的是可将循环次数减半仍达到甚至超过全深度基线，前向 FLOPs 降低 22.5%-48.2%
所属事件:苹果发布 LoopCD 免训练解码方法提升循环 Transformer 性能(3 条相关)→
「研究」频道最新
- Arena 用偏好+评分表组合奖励后训练 FLUX.2-dev 涨 69 Elo — arena · 2026-10-02
- Tiny Theory of Mind 数据集登顶 HF，测小模型心智理论 — Megneous · 2026-10-02
- ScholarCatalyst：科学家找灵感论文的新基准，agentic 搜索不敌嵌入检索 — lateinteraction · 2026-10-02
- Deep Learning Weekly 第 475 期：GPT-6.1 Sol、LLM 评审与 Agent 即时记忆 — skdh · 2026-10-02
- VASC：免训练稀疏注意力让 3D 重建推理提速 2.29 倍 — zhenjun_zhao · 2026-10-02
- ARROW：面向野外场景的 4D 观测任意重建与追踪 — zhenjun_zhao · 2026-10-02