GB300 NVL72 实测:仅调 FP8 KV cache 与 GPU 分配,吞吐最高提升 64%
ryanshrout · x · 2026-10-02
Signal65 发布其 agentic AI 基准 PINNACLE 的机架级(rack scale)首批 NVIDIA GB300 NVL72 调优结果:在模型、节点、负载完全不变的前提下,仅改软件设置就能大幅提升产出。
- FP8 KV cache 使大型 MoE 模型吞吐提升 59%–64%;
- 调整 GPU 分配方式使 GLM-5.3-Flash 再提升最高 61%,相当于每输出 token 成本降低最高 39%。
PINNACLE 的定位是衡量「正确的产出」:用运行时生成的答案密钥做确定性代码评分(无模型裁判),每轮运行程序化重建沙箱与密钥,杜绝记忆与过拟合;跑的是真实多步 agentic 会话而非回放轨迹。NVIDIA(Ian Buck)与 AMD 均表态支持该基准的演进。结论:企业已购的 AI 机架若服务栈未调优,就在白白浪费容量。
「Infra」频道最新
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16
- 台北101点亮「台湾❤️Jensen」,科技界集体声援黄仁勋 — liu_mingyu · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- CUDA 矩阵乘法优化实战:从朴素实现干到 cuBLAS 93.7% 性能 — RisingSayak · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16