两台 DGX Spark 跑 GLM-5.3-Flash:自研内核让专家 GEMM 提速约 40%
EAccelerate_42 · x · 2026-09-03
Reederey 发布 glm53-flash-exl3-2x-dgx-spark v1.4.0,在两台 DGX Spark 上以 EXL3 量化运行 320B MoE 的 GLM-5.3-Flash。此版本对 CUDA 侧做了完全重写,不再是原版 exllamav3:胖专家 GEMM 内核加入 3 级 cp.async 流水线,在生产形状(M=3584,K=2048/4096/8192)下实测提速 38.6%–41.4%,达到约 73.5 TFLOP/s,且与原内核逐位一致(56 组对比验证),compute-sanitizer 三项检查零错误;机器上 prefill 保持约 1k tok/s,decode 与接受率不变,另引入 ticket scheduler。
「Infra」频道最新
- 企业 token 支出增速从 42% 骤降至 0.2%,超大规模厂商 ROIC 跌至 20% — SumitGup · 2026-10-21
- 高通全球裁员转战 AI 数据中心：目标 2027 年 50 亿美元营收 — rohanpaul_ai · 2026-10-21
- vLLM 登台 PyTorchCon 2026：跨 TPU、AMD、NVIDIA 优化 KV cache 与内核 — PyTorch · 2026-10-21
- antirez 尝试用 DeepSeek Infer 为 DGX Spark 优化 DwarfStar 内核 — antirez · 2026-10-21
- 三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入 — prism-ml · 2026-10-21
- GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21