LoopCD 免训练解码：AIME 准确率 61.9% 升至 73.3%，FLOPs 减半
kastnerkyle · x · 2026-10-03
论文《Decoding Looped Transformers Better for (Almost) Free》提出 LoopCD，一种无需训练的对比解码框架，利用循环 Transformer 自身的中间状态做引导信号。
核心思路：Looped Transformer 通过重复执行共享模块节省参数，每轮循环都产出可解码的中间表示，但标准解码会丢弃早期状态。作者把早期循环视为"草稿"、最终循环视为"精修答案"，用两者的差异（logit 空间或隐状态空间）把最终预测推向模型本已在改进的方向。
两种实现：
- LoopCD-Logits：多一次输出前向
- LoopCD-Hidden：零输出开销
关键结果：
- Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提升至 73.33%
- Huginn 的 HumanEval pass@1 从 22.56% 提升至 31.71%
- 减半循环次数仍能持平或超过全深度基线，前向 FLOPs 降低 22.5%–48.2%
在四个循环 Transformer 家族上均取得一致增益，证明中间循环状态可以转化为有效的解码引导信号。
所属事件:苹果推出 LoopCD：免训练解码让循环 Transformer 大幅涨分省算力(4 条相关)→
「研究」频道最新
- JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释 — hisspikeness · 2026-10-23
- 从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦 — Big_Effective_9605 · 2026-10-23
- GAFU 用生成侧表征提升统一多模态模型细粒度视觉理解 — Tengju Ru · 2026-10-23
- NTU 控制变量研究:扩散语言模型的学习型 unmasking 策略怎样才算好 — nanyang-technological-university-singapore · 2026-10-23
- NBER 出版《变革性 AI 的经济学》，Agrawal 与 Brynjolfsson 主编 — JMateosGarcia · 2026-10-23
- 前天文学家谈 Agent 评测：仅换 harness 成绩就差 30% — AI Engineer · 2026-10-23