LightMTP：轻量潜空间多 token 预测助 LLM 预训练学会提前规划
gdm3000 · x · 2026-10-27
转发介绍 LightMTP 工作：探索语言模型能否在预训练阶段就学会「往前多想几步」。方法是在训练时加入两个轻量的潜空间多 token 预测（latent multi-token prediction）变体，让模型预测未来 token。
- LightMTP-Single：单个 cosine loss 对齐未来 token 表示；LightMTP-Concat：每个 offset 各一个 cosine loss。
- 仅训练期使用辅助目标，推理架构不变，开销轻。
- 实验显示能提升 planning、reasoning 与 coding 能力。
「研究」频道最新
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- Finch 1 发布：用 50+ 种传感器影像训练的通用地理空间基础模型 — Scobleizer · 2026-10-27
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 物理学家让 AI 自选课题：两小时产出可登顶刊的论文 — burny_tech · 2026-10-27
- 研究者谈评测集透明度:组合性评测仍存数据污染隐患 — najoungkim · 2026-10-27
- 可解释性研究该分清形式与估计器：均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27