训练权重该用 fp32 还是随机舍入?研究者争论精度惯例
y0b1byte · x · 2026-11-18
y0b1byte 在回复 Google DeepMind 研究者 giffmana 与 mwulfmeier 时表示,主权重用 fp32 或随机舍入(stochastic rounding)已是跨领域长期确立的做法,并认为这应是显而易见的共识。这条回复出现在一场关于训练数值精度的讨论串中。
「研究」频道最新
- 免费电子书《Error-Correction Coding and Decoding》系统讲纠错码 — burkov · 2026-11-18
- NOETIK 携手 MSK 癌症中心共建癌症生物学世界模型 — anshulkundaje · 2026-11-18
- bf16 微调搞坏 VLA?研究者质疑该结论并不新鲜 — giffmana · 2026-11-18
- Claude Code 学术研究技能包爆红:GitHub 星标 57.5k — adnan_hashmi · 2026-11-18
- 浙大等团队提出 GR-BC:失败数据也能练机器人,成功率约 91% — jiqizhixin · 2026-11-18
- 谷歌论文:自改进 agent harness 门控式改写省 10 倍 token 且迁移性更强 — omarsar0 · 2026-11-18