LOTUS：用隐藏工作区加速推理
burkov · x · 2026-07-17
这条在介绍一篇新论文 **LOTUS**：作者认为，像现在这样把每一步推理都显式生成成文本，会让语言模型变慢；而过去把这些步骤放在隐藏状态里，又常在模型变大时损失准确率。 LOTUS 的做法是给 Transformer 设置多个隐藏“工作区”，用同一组层反复处理这些工作区，并训练它们去对应已知的推理步骤。这样，隐藏计算可以更多地并行进行，而不必一步一步按 token 展开。 论文报告称，在一个 30 亿参数模型上，这种架构在数学题上接近普通 chain-of-thought 的准确率，同时把推理延迟降低约 2.5 倍；对于更长的文字推理，延迟可降低约 6.9 倍。作者还发现，隐藏状态往往能被解码成有意义的中间步骤，而不只是不可解释的内部表示。