LOTUS：带并行潜变量监督的循环Transformer
burny_tech · x · 2026-07-19
研究团队提出了名为 LOTUS（Looped Transformers with parallel supervision on latents）的方法。该方法在模型的问题和答案之间插入 K 个潜变量块，并让基础模型对其进行 R 次循环计算以获取最终的潜变量。训练过程使用两种简单的损失函数：一是通过模型自身的 LM head 对标准思维链进行普通的交叉熵损失计算；二是基于这些潜变量的标准 next-token 预测来得出最终答案。
「研究」频道最新
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26