John Langford 评 FBT 笔记:定点迭代收敛与量化隐状态缓存

JohnCLangford · x · 2026-11-22

《Vowpal Wabbit》作者 John Langford 评论 xidulu 关于 FBT(fixed point 技术笔记)的帖子,该笔记回应了几个重要问题:定点迭代的收敛性、用三遍验证+流水线+回滚做投机解码、以及量化隐状态缓存以降低推理时显存占用(同时让 mHC 更稳定)。Langford 提出两点疑问:为什么不全部用 16 bit 缓存;amplifier 模型额外的敏感性可能是因为训练时 pass 1 未对 pass 2 做条件化。总体评价积极。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →