HF 发布 kernels cookbook:从 Hub 调 kernel 到 Triton 手写与基准对比
ariG23498 · x · 2026-10-13
HF 团队发布 kernels cookbook(可Colab 打开),系统讲解计算 kernel 的使用:
- 如何直接从 Hub 使用 HF kernels
- 手写 Triton kernel 与不手写的取舍
- 用和不用 kernel 分别对模型做 benchmark 对比
作者公开征求反馈,是一份能直接上手跑的推理优化教程。
「Infra」频道最新
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23
- 架构师提醒：把专有芯片当战略依赖，先算清迁移成本 — DavidLinthicum · 2026-10-23