MetaKernelBench:跨DSL技能迁移提升GPU核优化最高29%
encodelab · hf · 2026-10-12
西湖大学、上海交大与浙大团队发布 MetaKernelBench,首个测量 GPU 核优化 agent「经验复用价值」的基准。
- 动机:现有核优化 agent 会把学到的东西存入知识库或蒸馏成技能,但传统 benchmark 只打分单次实现的正确性与速度,不衡量留存经验的复用效果。
- 做法:74 个融合子图问题、6 个家族,每个问题以 CuTe DSL 和 TIRx 两种变体成对出现。agent 先独立尝试一个 DSL,并把经验蒸馏成自然语言技能;该技能作为唯一额外输入,供同一模型在另一 DSL 上重试同一问题,并在匹配预算下与 solo 尝试对比正确性与端到端运行时。
- 结果:6 个模型、两个方向上,配对提升范围 -19% 到 +29%;四个模型双向获益,但每个模型每个方向仍有 16%–45% 的问题出现回退。结果取决于源尝试相对目标 solo 尝试的水平:源更高时 71% 提升,源更低时 54% 回退。
结论:该基准补充了实现质量指标之外的知识迁移维度,表明技能迁移并非总是正收益。
「编程与Agent」频道最新
- Lee Rob 在斯坦福 CS146S 讲解常驻主动 Agent 架构 — blaizedsouza · 2026-10-12
- Codex 频因「网络安全」护栏中断任务,用户向官方喊话求解 — Al_Grigor · 2026-10-12
- Agent 落地难做日志追踪,Neatlogs 发布瞄准生产化痛点 — doesdatmaksense · 2026-10-12
- AI Agent 学习路径：七篇长文覆盖从基础到自建 Harness — blaizedsouza · 2026-10-12
- AI Agent 最危险的翻车:凭空编造却看起来正确的数字 — bgoncalves · 2026-10-12
- diff-tour 开源：像资深工程师一样带你看懂 AI 写的代码 — 4310sy · 2026-10-12