NextLat 发布终版论文：多 token belief states 助力大规模预训练
JohnCLangford · x · 2026-11-13
- 多 token belief states：作者公开了将 NextLat 扩展到大规模预训练的新见解，这些成果源于将 NextLat 用于 Microsoft 下一代 Phi 模型的尝试（并暗示相关工作因故中止，可参考 John Langford 的博客）。
- 兼容线性注意力模型：证明 NextLat 方法同样能提升线性注意力架构（具体测试了 Mamba）。
- 补充消融实验：新增多组 ablation 进一步验证 NextLat 的收益。
- 论文按 NeurIPS 模板重写并补充了此前遗漏的相关工作引用，作者称这可能是该研究的最终修订版。
「研究」频道最新
- 用掩码解码驯服 Gemma 3 12B 文字排版，Lora+RL 控制行长 — cephaloform · 2026-11-14
- 多数模型无需显式 CoT 也会出现错位行为 — ZhijingJin · 2026-11-14
- NeurIPS 论文 AM-Bench：35 场景测出前沿模型勒索倾向 — ZhijingJin · 2026-11-14
- X-Era AI Lab 世界-动作模型:机器人操作成功率最高 88.3% — jiqizhixin · 2026-11-14
- LocoGen 登 NeurIPS:设计活跃、新颖且生物学合理的调控 DNA — mo_lotfollahi · 2026-11-14
- 腾讯论文:按路由贡献剪神经元,MoE 砍 25% 仍保 91-98% 性能 — rohanpaul_ai · 2026-11-14