NextLatent：让 Transformer 预测自身隐状态，推理提速 3.3 倍
burny_tech · x · 2026-09-05
研究者 Jayden Teoh 等提出 Next-Latent Prediction（NextLatent），一种自监督学习方法，针对 next-token prediction 的短视问题：让 Transformer 学着预测自己的下一个隐状态（latent），从而形成紧凑的世界模型，用于推理与规划。
- 核心思路：训练压力促使模型收敛到 belief-state 式的内部表征
- 附带收益：可通过 self-speculative decoding 实现最高 3.3 倍推理加速
- 后续：作者 yacinelearning 宣布下周将采访一作 Jayden Teoh
该方法属于表征学习/世界模型方向的探索，作者称其为「很酷的方法」。
「研究」频道最新
- AA 情报指数 v4.2 上线：更复杂任务加私有测试集，防模型刷榜 — shuchaobi · 2026-09-05
- Ambient Diffusion Policy 中选 CoRL 2026,用噪声选择性学习亚优机器人数据 — giannis_daras · 2026-09-05
- 从 4 到 285 TFLOP/s:Blackwell 极致 GEMM 内核系列开篇 — HanGuo97 · 2026-09-05
- 实测与论文齐指：写代码别用多智能体，读任务才值得并行 — PilgrimofHaqq2 · 2026-09-05
- 可解释性永远无法「被解决」?一条关于 interp 终点的思辨 — burny_tech · 2026-09-05
- Intern发布Lumina U2:统一视频3D理解与图像生成 — bdsqlsz · 2026-09-05