OLMo3 预训练现「模式跳变」：准确率 81%→0%→81.7%
jiaxinwen22 · x · 2026-10-10
AI2 研究员在推文中披露 OLMo3-32B 预训练中的一个反直觉现象，称为 mode-hopping（模式跳变）：
- 某项算术诊断任务的准确率在 2.17T tokens 时达到 81%
- 训练到 2.19T tokens 时突然崩塌至 0%
- 仅 0.02T tokens 之后，在 2.21T 时回升至 81.7%
诡异之处在于：整个过程 验证损失始终平滑下降，即标准 loss 曲线完全看不到这种能力上的剧烈震荡。这提示单一 loss 指标可能掩盖模型内部解的跳变，对预训练监控与评估方法有直接启发。
「研究」频道最新
- 纯 Rust 实现的 SLAM/3DGS 开源库 visloc-rs 更新展示 — rsasaki0109 · 2026-10-10
- 纯 Rust 视觉 SLAM 工具箱 visloc-rs 更新,集成 SfM 与 3DGS — rsasaki0109 · 2026-10-10
- Agent Arena 用因果追踪替代偏好投票，五信号评测真实智能体 — arena · 2026-10-10
- WOVEN 论文：视觉转移推理可作共享原语，26 项基准提升 22 项 — mohitban47 · 2026-10-10
- OpenAI 开源内部模型数学成果仓库，含证明工件与推理轨迹，13k 星 — keunwoochoi · 2026-10-10
- AI 代写证明后，数学报告会该怎么开？学者提议新形式 — LucaAmb · 2026-10-10