OpenAI 研究员发布 LoopCD：循环 Transformer 解码免费涨分，AIME 61.9%→73.3%
arankomatsuzaki · x · 2026-10-02
Apple 研究团队（作者含 Komatsuzaki 转发推介）发布论文 LoopCD，一个免训练的对比解码框架，专门优化 Looped Transformer 的推理表现。
核心思路：Looped Transformer 通过反复执行共享模块换取参数效率，每次循环都会产生一个可解码的中间表示，但标准解码会丢弃早期状态。循环结构天然提供了「弱-强」对齐的预测对，无需辅助模型即可用作对比信号。
两种变体：
- LoopCD-Logits：用一次额外输出前向，在 logit 空间对比最终预测与早期循环预测；
- LoopCD-Hidden：在隐状态空间对比，零输出开销。
成绩：
- Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提到 73.33%（LoopCD-Logits）；
- Huginn 的 HumanEval pass@1 从 22.56% 提到 31.71%（LoopCD-Hidden）；
- 更关键的是：减半循环次数仍能匹敌或超过全深度基线，前向 FLOPs 降低 22.5%–48.2%。
论文：arXiv 2610.02185《Decoding Looped Transformers Better for (Almost) Free》。
「研究」频道最新
- Nature 封面：630 万核测序绘制人类前额叶最大基因活动图谱 — jiqizhixin · 2026-10-02
- 1.3微秒CPU检测幻觉：120B大模型反而集体自信胡编 — More_Slide5739 · 2026-10-02
- 18岁日本学生用MCMC研究折纸结构,拿下ISEF最高奖10万美元 — burny_tech · 2026-10-02
- 从视觉皮层到前额叶:用 Cover 定理解释『怪异』神经元 — burny_tech · 2026-10-02
- 自适应努力是动态循环 Transformer 的杀手级应用 — willcb · 2026-10-02
- 华科团队提出 Multimodal Flow：语言与视觉的全连续统一建模 — hustvl · 2026-10-02