token 乘数定义:2x 即基线需两倍 token 达同损

_katieeverett · x · 2026-09-10

延续线程:按已有工作,token 乘数定义为固定模型规模下,基线优化器与被比较优化器达到相同 loss 所需 token 数之比;值为 2x 表示基线需要两倍 token。

所属事件:ADANA 动量调度优化器在过训练轴上改写 scaling 指数(13 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →