循环 Transformer 多跳推理卡在 8%,DiscoLoop 免重训提到近 100%
jasondeanlee · x · 2026-10-13
一条转发+引用串,介绍论文 DiscoLoop 对循环 Transformer(looped Transformer)隐式推理能力的研究。
- 问题:循环 Transformer 在组合分布外(OOD)的多跳问题上表现很差。例如模型训练时分别学过「Alice 的儿子是 Bob」和「Bob 的妻子是 Carol」,但从未见过两者组合,被问「Alice 儿子的妻子是谁」就答不出。
- 机制发现:作者查看第一次循环后的隐状态,它能几乎完美解码出「Bob」,但该隐状态与 Bob 的词嵌入并不相似(余弦相似度约 0.3)。
- 修复实验:把 Bob 的嵌入混入该隐状态,无需重新训练,OOD 准确率从 8% 跃升到接近 100%。
- 方法:提出 DiscoLoop,一种针对循环 Transformer 的残差设计,用于改善隐式推理。
转发者称赞这是写得好的论文:不只展示提出的方法,还展示假设如何形成、并用轻量实验验证假设。引用原帖提到前沿实验室据传正考虑采用循环 Transformer 以解锁隐式推理。
「研究」频道最新
- 普林斯顿 Vertaix 组招全奖博士,主攻自主科学发现系统 — davlanade · 2026-10-13
- 在双臂精密插装任务上微调 reward model,进度预测接近完美 — DominiqueCAPaul · 2026-10-13
- 密码学家 Matthew Green 用 AI 分析 1.6 万篇论文，量化全球密码分析投入 — matthew_d_green · 2026-10-13
- Muse 新模型亮相 ProgramBench：从二进制重建程序，最强模型近乎全灭 — jyangballin · 2026-10-13
- 分析 12.7 万条医生真实查询：临床 LLM 基准与实际使用严重脱节 — NYU-OLAB · 2026-10-13
- 港大提出 JoHan：视频生成式联合恢复 2D-3D 手部运动更流畅 — HKUCDS · 2026-10-13