西湖浙大发 EdgeKernelBench:LLM 生成边缘端内核正确率 64.5% 仅 25.5% 够快
encodelab · hf · 2026-10-21
西湖大学与浙江大学团队发布 EdgeKernelBench 基准与 LEKA(Layered Edge Kernel Agent)框架,首次系统研究 LLM 在异构边缘后端上的内核生成。
要点:
- 边缘部署与服务器 GPU 不同:硬件异构、软件栈碎片化、资源预算紧张,此前缺乏统一评测;
- 基准采用统一 IR + 编译器接口连接各目标后端,以 TVM 为参考编译器,覆盖从单算子到完整应用域的程序规模;
- 关键发现:单次生成下最佳模型 Correct@1 达 64.5%,但 [email protected] 仅 25.5%——功能正确不等于性能收益;
- LEKA 通过分层 IR 组织优化,在 agent 评测子集上达 43.5% [email protected],远高于直接生成的 13.0% 与同基座的 Claude Code 的 26.1%。
项目主页:pillar9.github.io/EdgeKernelBench
「Infra」频道最新
- 投资者称市场低估算力需求千倍：智能将达太瓦级电力规模 — inductionheads · 2026-10-21
- TiDB 数据泄露报告:凭据进 Jira 工单、4 年未修的根权限漏洞 — arpit_bhayani · 2026-10-21
- FireTrident：80 个编码 Agent 共享一个仓库，62 秒清零 Hono 958 条违规 — dinasaur_404 · 2026-10-21
- 传 xAI 因中国光模块受限,转向 ACC/AEC 与铜互连 — jwt0625 · 2026-10-21
- a16z 旧金山堆场爆满：fal、ElevenLabs 等谈推理系统扩展 — venturetwins · 2026-10-21
- Baseten 零日上线三款新开源模型，自称基准与生产流量双第一 — baseten · 2026-10-21