LessWrong 研究:循环 Transformer 显著增强无 CoT 推理,或更难监控
CFGeek · x · 2026-11-22
LessWrong 论文《Looping a transformer increases no-CoT capabilities more than general capabilities》在 NVIDIA 公开的循环 transformer Dory 4B 上验证了研究者对 looped models 的担忧。
核心发现
- 结果 1:增加循环次数主要提升无 CoT 推理能力(NCRI 大幅上升),而通用能力(mini-ECI)与 bits-per-byte 仅略增;按每次循环计参数,NCRI 甚至在 6 次循环前跑赢规模趋势线——意味着循环模型可能比同能力标准 transformer 更难监控
- 训练时用 4 次循环,推理时加到 8 次仍能提升性能
- 结果 2:Dory 在所有循环数下 CoT 可控性接近零,无法进一步评估循环对可控性的影响
gordicaleksa 曾推测「循环 transformer 的可解释性不会比极深模型更难」,CFGeek 指出该实验结果与此主张存在张力。
「漫话AGI」频道最新
- Ben Goertzel 谈 AI 证明黎曼猜想:奇点临近,算力决定数学荣耀 — bengoertzel · 2026-11-22
- pivotal acts 之争升级:jessi_cata 引 Scott Alexander 2022 年辩护文佐证 — jessi_cata · 2026-11-22
- jessi_cata 长文复盘:从《超级智能》到 pivotal act,AI 安全圈「计划」之争的文本依据 — jessi_cata · 2026-11-22
- 「希尔伯特纲领迎来了辩护」:百年后我们正逼近形式化判定机 — teortaxesTex · 2026-11-22
- Palmer Luckey 谈武器 AI:把 ChatGPT 装进导弹与自主武器的区别 — justin_hart · 2026-11-22
- 播客讨论脑机接口如何改变人类,被称为 unusual bet — dr1337 · 2026-11-22