LOTUS：用隐藏工作区加速推理
burkov · x · 2026-07-17
这条在介绍一篇新论文 LOTUS：作者认为，像现在这样把每一步推理都显式生成成文本，会让语言模型变慢；而过去把这些步骤放在隐藏状态里，又常在模型变大时损失准确率。
LOTUS 的做法是给 Transformer 设置多个隐藏“工作区”，用同一组层反复处理这些工作区，并训练它们去对应已知的推理步骤。这样，隐藏计算可以更多地并行进行，而不必一步一步按 token 展开。
论文报告称，在一个 30 亿参数模型上，这种架构在数学题上接近普通 chain-of-thought 的准确率，同时把推理延迟降低约 2.5 倍；对于更长的文字推理，延迟可降低约 6.9 倍。作者还发现，隐藏状态往往能被解码成有意义的中间步骤，而不只是不可解释的内部表示。
「研究」频道最新
- JockeyBench：用日本赛马评测 LLM Agent 的重复事件预测能力 — Zhongwei Xie · 2026-10-27
- 斯坦福 PaperFormalizer：把论文自动转成 Lean 验证版本 — StanfordUniversity · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- TRL 异步 GRPO 训练器默认启用 score centering + masked importance sampling — _lewtun · 2026-10-27
- EMNLP 2026 两篇论文：小模型实体追踪超人类、类人短暂记忆研究 — GretaTuckute · 2026-10-27
- 历时十年研究：秘鲁 Tarma 克丘亚语的「反自然」音系限制首获实证 — begusgasper · 2026-10-27