斯坦福 ParallelKernelBench 入选 NeurIPS：LLM 零样本仅 32% 多卡 kernel 写对
simonguozirui · x · 2026-11-04
斯坦福与 UCSD 团队的 ParallelKernelBench（PKB）被 NeurIPS 2026 接收为海报论文，首次系统评测 LLM 生成多 GPU kernel 的能力。
- 任务难度：多卡 kernel 设计空间组合爆炸（张量/专家/流水线/数据/序列并行）、单卡 roofline 无法刻画通信瓶颈、通信硬件路径（copy engine、TMA、SM 指令）各有取舍。
- 基准构成：覆盖各类并行工作负载的 87 道题，配套评测框架。
- 结果：零样本下最好的模型只有 32% 题目写对，其中仅 25% 比未重叠的 PyTorch + NCCL 基线更快。
- 分析贡献：提出通信感知 roofline，发现 90% 以上基线 kernel 硬件利用率不到峰值一半；部分 LLM 生成方案是全新的可用 kernel 且性能更优。
「Infra」频道最新
- DeepSpeed 修复 ZeRO-1/2 梯度跨请求丢失 bug,建议升级到 0.19.9+ — StasBekman · 2026-11-04
- All-In 算账:英伟达 1 美元成本如何在 AI 链条放大成 18 美元收入 — lupantech · 2026-11-04
- 10年期美债升至4.9%，经济学家拷问AI交易崩盘论 — builderjaydub · 2026-11-04
- 加拿大将同时容纳中美数据中心，算力格局现新变量 — JacquesThibs · 2026-11-04
- 按任务风险而非模型能力给 Agent 授权：IT 运维四级自治框架 — Bonree · 2026-11-04
- UC Berkeley 等发布 SpecPilot:自动为投机解码找最优算法 — UCBerkeley · 2026-11-04