Meta/Stanford 严格版评测:七个前沿模型写 CUDA kernel 无一跑赢 PyTorch
lmoroney · x · 2026-10-03
Meta 与 Stanford 研究者发布 KernelBench-Verified,对 LLM 生成的 GPU kernel 做了比原版 KernelBench 严格得多的评估(代码开源:facebookresearch/kernelbenchverified)。
更严格的协议设计:
- 以开启 TF32 的 PyTorch 为基线,对应现代 GPU 上实践者的真实设置。
- 增加四分布的隐藏正确性测试,专抓 reward hacking。
- 追踪峰值内存。
结果:
- 在新协议下,被测的七个前沿模型平均没有一个超过 PyTorch。
- 最好的 GPT-5.5 几何平均加速约 0.88x;而在原版宽松协议下同一模型的数字约 1.43x——差距揭示基线与测试设计对「加速」结论影响巨大。
作者的启示:任何 kernel 加速宣称都应当作系统问题审视——基线是什么、测试是什么、在真实设置下是否依然更快。
「模型」频道最新
- Mistral Large 4 编码实测:2 小时仅耗 0.82 欧元额度 — qtnx_ · 2026-11-19
- GPT-6.2-Astra-Max 高强度连跑24小时,周额度仅消耗20% — prd_008 · 2026-11-19
- Kling Image 4.0 登 Artificial Analysis 榜单第七,唯一支持原生 8K 输出 — anthara_ai · 2026-11-19
- Contra Labs 发布设计基准:神秘模型 Gestalt 力压人类金牌作品登顶 — yuwen_lu_ · 2026-11-19
- Gemini 霸榜 Arena 日常聊天榜引质疑:是真好用还是评测偏差? — Balance- · 2026-11-19
- 网友用 Claude Opus 5.5 做出浏览器内只狼风 Boss 战 — prasenx · 2026-11-19