预训练方差量化：浮点运算顺序影响与数据种子相当
AndrewLampinen · x · 2026-08-19
一篇新博客文章量化了LLM预训练中的方差来源。除了数据和初始化种子，浮点运算顺序（如分片差异）也会影响训练结果，且影响幅度与数据种子相近。
「研究」频道最新
- ACL 2026 论文：新信息冲突时 LLM 仍倾向于旧知识 — mdredze · 2026-08-19
- NeurIPS 2026 研讨会聚焦：AI 写作、AI 评审与学术治理 — ManlingLi_ · 2026-08-19
- OpenAI 回复：RLHF 与世界模型可加速设计迭代 — TinfoilTricorn · 2026-08-19
- 自创「先冻结服务再解题」法，Codex 首破 Terminal-Bench 零通过任务 — Present-Quantity-813 · 2026-08-19
- 实时 Agent 竞赛测泛化性，斯坦福等团队夺冠 — CShorten30 · 2026-08-19
- Tuesday 指数组合 8 项 Surge 基准,后续将继续扩充 — echen · 2026-08-19