从权重读出训练史:OLMo 2 两万 embedding 冻结被神发现
giffmana · x · 2026-11-14
模型权重里藏着训练历史
alapanchaudhuri 指出：拿到模型权重，可以读出大量训练细节——训练数据包含哪些 token、学习率调度、训练步数；若再拥有数据，还能推断大多数文档在第几步被用到、shuffle 种子、上下文窗口与训练轮数。
可验证的著名案例
- OLMo 2 首个 instruct 版本：20341 个本应训练过的 embedding 行从未移动，其中包括每个 chat-turn 结束标记对应的 token。Allen AI 后续排查发现是 tokenizer 不匹配并重新训练——而这一切早就写在权重里。
- Pythia-1B 的预训练细节也可用同类方法验证。
补充讨论
giffmana 补充：该方法主要适用于拥有初始权重的微调场景；若结合 willdepue 寻找预训练随机初始化的技巧，理论上也能用于预训练，但训练步数多了之后信号会被洗掉，难以得出结论。
「模型」频道最新
- 网友调侃：Opus 5.5 强到像蒸馏自未发布的「fable 5.5」 — haider1 · 2026-11-14
- Inkling Small 2 可跑进 4 张 Blackwell,750 万 token KV 缓存 — LiTianleli · 2026-11-14
- 文心 5.5 flash preview 实测:解码速度达 267 token/s,长上下文可扛 256K — karminski3 · 2026-11-14
- 改一行权重修复推理死循环:1.7B 模型循环率降 92.9%、GSM8K 翻倍 — opUserZero · 2026-11-14
- Claude iOS 出现 Apple 登录故障，新账号注册受阻 — ClaudeAI-mod-bot · 2026-11-14
- 独立扫描 265 个开源 LLM，185 个会推理出自己用的 GPU 家族 — willdepue · 2026-11-14