用 Claude 为 8 个开源模型各写一个 megakernel,解码速度最高达 vLLM 的 1.77 倍
joao_gante · x · 2026-11-19
有团队为 8 个开源模型(8B 到 594B)分别让 Claude 编写了专属 megakernel——用一个 GPU kernel 跑完整个解码循环,宣告「一刀切推理引擎时代终结」。
- 相比 vLLM / SGLang 最高提速 1.77×
- 叠加无损的模型专属技巧后可达 2.05×
思路是为每个模型定制整体 kernel 而非通用推理引擎,属于推理栈优化方向的激进尝试。
「Infra」频道最新
- vikhyatk:行业在 GPU 编译器投入过多,CPU 编译器不足 — mohbibi_ · 2026-11-19
- KVARK Flash 代理:按请求限 DeepSeek 思考量,token 省 30-50% — Ill_Contribution_717 · 2026-11-19
- R9700 降到 160W 跑 llama.cpp:性能仅丢两成,风扇近无声 — LippyBumblebutt · 2026-11-19
- Baseten 实测:DeepSeek v4.1 Flash 在 Vera Rubin 上跑出约 2500 tok/s — baseten · 2026-11-19
- Cloudflare 推出 Spend Management:消费达上限可自动暂停服务 — JeremyCMorgan · 2026-11-19
- 一条 EBS gp3 命令让 Weaviate 千万向量索引查询性能提升 26 倍 — philipvollet · 2026-11-19