Stanford 发布 ParallelKernelBench：最强模型零样本仅 32% 正确率
burny_tech · x · 2026-11-05
Stanford 与 UCSD 团队在 alphaXiv 发布 ParallelKernelBench（PKB），首个评估 LLM 编写多 GPU 高性能 kernel 的基准，已被 NeurIPS 2026 接收为 poster。
核心内容：
- 多 GPU kernel 生成此前未被探索，但通信已成为大规模训练与推理的主要瓶颈；难点包括并行设计空间组合爆炸（张量/专家/流水线/数据/序列维度）、单 GPU roofline 无法刻画通信瓶颈、多种通信硬件路径（copy engine、TMA、SM 指令）各有取舍。
- 基准按并行类型构建工作负载分类，收录 87 道题。
- 评测结果：零样本下最强模型仅做对 32%，其中只有 25% 比 PyTorch+NCCL 未重叠基线更快。
- 团队提出通信感知 roofline 分析，发现 90% 以上的基线 kernel 硬件利用率不足峰值 50%。
- 部分优化后的 LLM 生成 kernel 表现优于现有方案，产出真正可用的新 kernel。
所属事件:斯坦福发布 ParallelKernelBench：最强模型多卡 kernel 零样本仅 32% 正确(2 条相关)→
「Infra」频道最新
- 爆料称将出现 0.3B 激活、$0.01/Mtok 的「Luna 级」检索增强模型 — teortaxesTex · 2026-11-05
- Khosla：万亿美元 GPU 数据中心本就不划算，长期反而利好 — beffjezos · 2026-11-05
- Nvidia 近12个月研发投入236亿美元，约等于 AMD+Broadcom+Marvell 总和 — Beth_Kindig · 2026-11-05
- 日本机床巨头津上营业利润率达31%，秘诀是留在中国制造 — PAstynome · 2026-11-05
- 实测:花 373 美元短程 RL 让模型学会用笔记，比塞长上下文省 5-10 倍 — teortaxesTex · 2026-11-05
- 得州议员要求数据中心自付电费、回收水并获社区同意 — Scobleizer · 2026-11-05