BBBK 内核把量化熔进 GEMM epilogue，同时打满 NVLink 与 Tensor Core
snowclipsed · x · 2026-11-14
一场关于内核优化细节的讨论：BBBK 为消除流水线停顿，尽可能让多条硬件流水线同时保持饱和——把 RHT 与 S2F6 量化直接熔进 w2 GEMM 的 epilogue，并配合激进的 epilogue 融合、ALU 向量化、指令调度、寄存器规划打包与投机 megakernel 调度。作者指出训练时 BBBK 能同时打满 NVLink、ALU 和 Tensor Core，RL 采样时则达到 NVLink 与 HBM 决定的延迟下限。讨论中还提到采样参数 k=96，认为这类似 Cursor 的配方。
所属事件:MoE 低精度训练通信优化：8 位量化与内核融合引热议(4 条相关)→
「Infra」频道最新
- 实测:上下文压缩设在 50 万 token 比 100 万省三分之一成本 — EricBuess · 2026-11-14
- 马斯克:SpaceX 已开始测试太空数据中心,未来将每小时发射一次 — 4KTV · 2026-11-14
- Atreides 向英伟达董事会致信,提出最低治理标准 — GavinSBaker · 2026-11-14
- OSINT 分析：全美空管瘫痪元凶是长距通信网，雷达 GPS 均正常 — eigenrobot · 2026-11-14
- Airtel 董事长盛赞 Starlink V3：单次发射 1Tbps 挑战物理极限 — elonmusk · 2026-11-14
- 开发者因 Cloudflare 的 MCP 体验全面迁移域名、存储与邮件服务 — ritakozlov · 2026-11-14