LOTUS 用 looped Transformer 让 latent 推理更像 CoT
burny_tech · x · 2026-07-22
论文 “Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers” 提出 LOTUS：一种 looped Transformer，通过并行更新多层隐藏“思考”，再用显式 CoT 步骤做监督。
作者想解决的是 latent reasoning 的两个问题：
- 规模变大后，latent 方法常常不如显式 CoT
- 纯顺序生成仍然太慢
文中声称，3B 规模下 LOTUS 在 GSM8K 上几乎追平显式 CoT，同时：
- 思考阶段速度提升 2.5×
- 长推理速度提升 6.9×
另外，模型的隐藏状态还能被读回成可解释步骤，说明它不是完全不可读的黑盒。
「研究」频道最新
- 论文指出：人机协作中的监督间隔应随着流程推进而拉大 — An Luo · 2026-07-22
- AutoIndex 让可执行程序决定检索语料如何表示 — mrdrozdov · 2026-07-22
- Thoughtbubbles 论文亮相 ICML 2026 首尔现场 — ChrisGPotts · 2026-07-22
- AutoIndex 在不改检索器下让 CRUMB 指标提升 8.4% — mrdrozdov · 2026-07-22
- AutoIndex：检索索引背后其实有个表征程序 — mrdrozdov · 2026-07-22
- 显式稀疏 Yagzhev 构造把维度压到 19 — SirrahChan · 2026-07-22