Hugging Face 公开模型优化流水线：从 profile 到 kernel 开源分发
ariG23498 · x · 2026-11-05
Hugging Face 工程师概述其优化模型的通用流水线：先用 transformers/diffusers 搭建模码并跑一次推理，再用 profiling 工具定位瓶颈，然后通过 torch.compile、自定义 kernel 等手段优化，最后把 kernel 开源分发。核心方法论是：选定要度量的指标、在保持目标不变的前提下持续优化。
「Infra」频道最新
- 高盛限制交易员使用部分 AI 工具，苹果削减内部 AI 使用预算 — GaryMarcus · 2026-11-05
- Polymarket 押注 29% 概率年内有州暂停数据中心建设 — Polymarket · 2026-11-05
- 4G 显存老笔记本跑 Qwen 27B 编码,每秒不到 1 token 也能干活 — Felix_455-788 · 2026-11-05
- 斯坦福团队发布 Joules-to-GDP 框架:衡量每焦耳电能产出多少经济价值 — HazyResearch · 2026-11-05
- Beff 评政策限制：挡不住进步，只会加速太空数据中心建设 — beffjezos · 2026-11-05
- 得州数据中心禁令被指自断财路,Beff Jezos 称损失数万亿 — beffjezos · 2026-11-05