John Langford 评 FBT 笔记:定点迭代收敛与量化隐状态缓存
JohnCLangford · x · 2026-11-22
《Vowpal Wabbit》作者 John Langford 评论 xidulu 关于 FBT(fixed point 技术笔记)的帖子,该笔记回应了几个重要问题:定点迭代的收敛性、用三遍验证+流水线+回滚做投机解码、以及量化隐状态缓存以降低推理时显存占用(同时让 mHC 更稳定)。Langford 提出两点疑问:为什么不全部用 16 bit 缓存;amplifier 模型额外的敏感性可能是因为训练时 pass 1 未对 pass 2 做条件化。总体评价积极。
「Infra」频道最新
- 能自动化迁移多租户 GPU 集群的公司不到 10 家,算力市场论是幻想 — AccBalanced · 2026-11-22
- 跑数万 agent 沙箱要几万计算节点,swarm 架构图曝光 — hwchase17 · 2026-11-22
- Teknium 曝 Hermes 用户 token 构成:92.4% 是缓存读取 — Teknium · 2026-11-22
- 马斯克晒仅用半颗 AI4 芯片实现无游戏引擎实时 AI 视频生成 — jamesdouma · 2026-11-22
- Sentdex 想白嫖 150 张 H100,而 Shkreli 正出钱收购同款 — Sentdex · 2026-11-22
- ECB 查出 AI 行业 4.5 万亿美元隐性债务,较上年统计高 287% — Actual__Wizard · 2026-11-22