OpenAI 研究员发布 LoopCD:循环 Transformer 解码免费涨分,AIME 61.9%→73.3%
arankomatsuzaki · x · 2026-10-02
Apple 研究团队(作者含 Komatsuzaki 转发推介)发布论文 LoopCD,一个免训练的对比解码框架,专门优化 Looped Transformer 的推理表现。
核心思路:Looped Transformer 通过反复执行共享模块换取参数效率,每次循环都会产生一个可解码的中间表示,但标准解码会丢弃早期状态。循环结构天然提供了「弱-强」对齐的预测对,无需辅助模型即可用作对比信号。
两种变体:
- LoopCD-Logits:用一次额外输出前向,在 logit 空间对比最终预测与早期循环预测;
- LoopCD-Hidden:在隐状态空间对比,零输出开销。
成绩:
- Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提到 73.33%(LoopCD-Logits);
- Huginn 的 HumanEval pass@1 从 22.56% 提到 31.71%(LoopCD-Hidden);
- 更关键的是:减半循环次数仍能匹敌或超过全深度基线,前向 FLOPs 降低 22.5%–48.2%。
论文:arXiv 2610.02185《Decoding Looped Transformers Better for (Almost) Free》。
所属事件:苹果推出 LoopCD:免训练解码让循环 Transformer 大幅涨分省算力(4 条相关)→
「研究」频道最新
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19