Hugging Face Kernels:换 kernel 只需改映射,无需重写模型
RisingSayak · x · 2026-09-18
Hugging Face Kernels 文档线程介绍如何为现有模型层替换来自 Hub 的高性能 kernel:
- 换 kernel = 改映射：尝试另一个兼容 kernel 只需修改映射配置,不是重写模型;装上、跑一遍自己的 workload benchmark,留下真正有用的。
- 灵活组合：推理和训练可以各指定一个 kernel;不同设备类型可用不同 kernel;映射选择可全局或局部注册。
- 机制：通过 usekernelforwardfromhub() 装饰器标注层(如 SiluAndMul),kernelize() 按名称查找对应 kernel,用 Hub 上的 layer 替换现有 forward 实现。
所属事件:Hugging Face 发布 Kernels 库,改映射即可换用高性能 kernel(2 条相关)→
「Infra」频道最新
- 自建 LLM 自动路由器 Jev：比全用 Opus 便宜 9 倍，成功率仅降 4 个百分点 — airesearch12 · 2026-09-18
- Shield AI 高管详解多模型智能与主权算力双战略 — BrettKrieger12 · 2026-09-18
- Cloudflare 自曝在造新一代 CI/CD:用 TypeScript 编写管道,公开征集需求 — dinasaur_404 · 2026-09-18
- 传苹果拟用 M8 Ultra 打造 AI 企业服务器，或采用 NVLink Fusion — Beth_Kindig · 2026-09-18
- 云天筱 ProgramAsWeights:英文写 AI 函数,编译后离线跑在 CPU 上 — yuntiandeng · 2026-09-18
- Gary Marcus 嘲讽英伟达上涨：循环经济依然繁荣，暂时 — GaryMarcus · 2026-09-18