LOTUS：带并行潜变量监督的循环Transformer
burny_tech · x · 2026-07-19
研究团队提出了名为 LOTUS（Looped Transformers with parallel supervision on latents）的方法。该方法在模型的问题和答案之间插入 K 个潜变量块，并让基础模型对其进行 R 次循环计算以获取最终的潜变量。训练过程使用两种简单的损失函数：一是通过模型自身的 LM head 对标准思维链进行普通的交叉熵损失计算；二是基于这些潜变量的标准 next-token 预测来得出最终答案。