LOTUS：用隐藏工作区加速推理
burkov · x · 2026-07-17
这条在介绍一篇新论文 LOTUS：作者认为，像现在这样把每一步推理都显式生成成文本，会让语言模型变慢；而过去把这些步骤放在隐藏状态里，又常在模型变大时损失准确率。
LOTUS 的做法是给 Transformer 设置多个隐藏“工作区”，用同一组层反复处理这些工作区，并训练它们去对应已知的推理步骤。这样，隐藏计算可以更多地并行进行，而不必一步一步按 token 展开。
论文报告称，在一个 30 亿参数模型上，这种架构在数学题上接近普通 chain-of-thought 的准确率，同时把推理延迟降低约 2.5 倍；对于更长的文字推理，延迟可降低约 6.9 倍。作者还发现，隐藏状态往往能被解码成有意义的中间步骤，而不只是不可解释的内部表示。
「研究」频道最新
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11