Inkling 2 Small 训练决策：前向 NVFP4、反向 MXFP8 加随机舍入
snowclipsed · x · 2026-11-14
博主评价这一配方与其他 NVFP4 方案相比是个小惊喜但非常合理的决定，并引用博客原文：Inkling 2 Small 的关键决策包括——前向专家层用 NVFP4 精度并配专用 kernel；反向用 MXFP8 精度并配合重量化与随机舍入以降低梯度偏差；用量化技术加速 GPU 通信，缓解计算加速后暴露的通信瓶颈。这是已知最大的端到端原生 4-bit 前向训练模型，从预训练到最终 RL rollout 数值配置一致，免去校准步骤。
所属事件:Thinking Machines 详解 Inkling 2 Small 全程原生 4-bit 训练(7 条相关)→
「Infra」频道最新
- Atreides 向英伟达董事会致信,提出最低治理标准 — GavinSBaker · 2026-11-14
- OSINT 分析：全美空管瘫痪元凶是长距通信网，雷达 GPS 均正常 — eigenrobot · 2026-11-14
- Airtel 董事长盛赞 Starlink V3：单次发射 1Tbps 挑战物理极限 — elonmusk · 2026-11-14
- 开发者因 Cloudflare 的 MCP 体验全面迁移域名、存储与邮件服务 — ritakozlov · 2026-11-14
- Brave Leo 用 TEE 实现可验证加密推理，直指 ZDR 只是空头承诺 — gnukeith · 2026-11-14
- 实测 2050 亿 token 账单：缓存读取占 97% 用量、缓存写入吞三成成本 — Nitjsefnie · 2026-11-14