Hugging Face 发布 Kernels 库:不改模型代码即可替换更快 kernel
RisingSayak · x · 2026-09-18
Hugging Face 团队成员 Sayak Paul 介绍 🤗 Kernels 库:发现更快的 kernel 时,无需重写模型即可让指定层用上优化实现。
用法要点:
- 用装饰器 usekernelforwardfromhub("SiluAndMul") 让某一层可替换,再注册映射声明"该层在该设备上使用 Hub 里的某个 kernel"
- 调用 kernelize(model, mode=Mode.INFERENCE) 后,Kernels 会遍历模型,只把符合条件层的 forward() 替换为注册的 kernel,其余层不动
- 可分别为推理和训练指定不同 kernel,也可按设备类型区分,支持全局或局部注册映射,粒度可到设备/算力级别
所属事件:Hugging Face 发布 Kernels 库,改映射即可换用高性能 kernel(2 条相关)→
「编程与Agent」频道最新
- 游戏开发者辟谣:AI 一天做出完整游戏多为炒作 — bendee983 · 2026-11-04
- 用 ChatGPT 从 Excel 一键生成带地图联动的交互式仪表盘 — TermRemarkable665 · 2026-11-04
- 开发者称 Agent 把开发周期从数周压缩到一天 — Suspicious_Orchid770 · 2026-11-04
- YC 孵化 Orgo：为 AI Agent 提供专属云桌面，已服务超 1000 团队 — Scobleizer · 2026-11-04
- 开发者自述：Vibe Code 出 PMF 产品后，工程化烂摊子靠专业开发救场 — sujingshen · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04