社区优化赛跑出 1900 tps prefill,较基线提速约 2.5 倍
HankYeomans · x · 2026-10-02
- 比赛结果：David Tai 宣布推理优化挑战赛结束，参赛者实现最高 450% 提升——1900 tps prefill、433 tps decode，约为一周前 omlx 参考基准的 2.5 倍。
- 技术手段：除模型 runner 的 kernel 升级外，还对 dflash2 进行调优，在 drafting 时降低前序 token 权重；Bonsai 2 释放的计算带宽让本届比赛涌现出不少新技巧。
- 后续安排：主办方计划尽快把这些优化开源到社区；两个挑战赛下周回归，期间将升级基础设施并修复重复提交刷奖励（reward gaming）的问题。
「Infra」频道最新
- Neocloud 现实检验：下一个 AI 项目为何可以绕开大型云厂商 — DavidLinthicum · 2026-10-02
- 前 SWE 转推理工程师：Ollama 从不最优，运行时与量化避坑指南 — Postmodern_Plunger · 2026-10-02
- 开源模型上手三步指南:从选型到本地部署再到接入工具 — every · 2026-10-02
- 圣安东尼奥一个选区超 12 座数据中心,隐身树林能躲过反对吗 — The Verge AI · 2026-10-02
- 等不了长合约？RunPod 等 GPU 自助云可即时开通算力 — DavidLinthicum · 2026-10-02
- AWS CEO 发 3000 字长文警告:阻挠数据中心将重创美国经济与安全 — The Verge AI · 2026-10-02