Periodic Labs 与 Cursor 曝出 mid-training 损失曲线对比图
eliebakouch · x · 2026-10-23
eliebakouch 分享了一张由 Periodic Labs 与 Cursor 合作的 mid-training(中期训练)损失曲线图,并就实验设计追问细节:对比是否为 base→mid-training→SFT→RL 与 base→SFT→RL 的直接对照,以及是否观察到类似 Cursor 报告的 PPL(perplexity)随规模变化的规律。这条短帖透露两家公司正在做 mid-training 实验,并暗示 mid-training 对后续 RL 阶段可能有可度量的收益。
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23