Apple 提出 LoopCD:免费为循环 Transformer 提速减算 22-48%
apple · hf · 2026-10-02
Apple 在 Hugging Face 发布训练无关的对比解码框架 LoopCD,针对循环(Looped)Transformer。
- 原理:循环 Transformer 反复执行共享块,每次循环都会产生同一 token 的中间表征;标准解码丢弃早期状态,而早期循环计算量小,天然构成「弱-强」预测对,无需辅助模型即可做对比解码
- 两种模式:LoopCD-Logits 用一次额外前向在 logit 空间对比;LoopCD-Hidden 在隐状态空间对比,零输出开销
- 效果:Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提到 73.33%;Huginn 的 HumanEval pass@1 从 22.56% 提到 31.71%
- 更关键的是可将循环次数减半仍达到甚至超过全深度基线,前向 FLOPs 降低 22.5%-48.2%
所属事件:苹果推出 LoopCD:免训练解码让循环 Transformer 大幅涨分省算力(4 条相关)→
「研究」频道最新
- 顶级实验室的最大优势不是钱,而是帮你省下数年试错时间 — madeofAjala · 2026-11-19
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19