MIT 学生提出 NextLat:给 GPT 加一个 MLP 预测自身下一隐状态
yacinelearning · x · 2026-10-29
Yacine 与 MIT 的 Jayden Teoh 对谈,介绍其在本科期间参与提出的 NextLat(next-latent prediction)训练目标改进,针对 next-token transformer 在 path-star 图等任务上的短板:
- 做法:在 GPT 上外挂一个小 MLP,让模型预测 transformer 自己的下一层隐状态(next hidden state);
- 为做到这一点,内部表示需要变成 belief state——对未来所有关键信息的紧凑摘要;
- 推理时 MLP 可以直接丢弃,不增加部署成本;
- 有趣反差:next-token transformer 在看似更难的问题上表现很强,却在 path-star 图这类问题上失手。
「研究」频道最新
- GeoGSplat 引入几何先验，DTU/NRGBD 新视角合成双榜登顶 — zhenjun_zhao · 2026-10-29
- SG²SLAM 用空间几何先验做单目户外 3DGS SLAM 导航 — zhenjun_zhao · 2026-10-29
- 六边形基元 Hexels 出笼：比 2DGS 高 4.5-7.4 dB 还省显存 — zhenjun_zhao · 2026-10-29
- StereoSplat 从立体视频做度量尺度新视角合成，深度误差降至 0.03 — zhenjun_zhao · 2026-10-29
- 逆向工程优化器： recovering Dimuon 更新背后的 Polar Express 指纹 — anpaure · 2026-10-29
- 优化器奇异值指纹：五步 Polar Express 与 Muon 的曲线截然不同 — anpaure · 2026-10-29