训练权重该用 fp32 还是随机舍入?研究者争论精度惯例

y0b1byte · x · 2026-11-18

y0b1byte 在回复 Google DeepMind 研究者 giffmana 与 mwulfmeier 时表示,主权重用 fp32 或随机舍入(stochastic rounding)已是跨领域长期确立的做法,并认为这应是显而易见的共识。这条回复出现在一场关于训练数值精度的讨论串中。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →