Rust 推理引擎 Saber：Qwen 27B 预fill 冲上 6645 tok/s
whodoneit1 · reddit · 2026-11-07
又一个新推理引擎 Saber：用 Rust 编写，支持 TP 1/2/4，目前支持 Qwen 3.8 27B 和 Flash Next。作者跑了一个多月才决定发布，因为采取了与现有引擎不同的路线。BetterBench 结果显示 Saber 在 27B 和 Flash Next 上均快于现有可用引擎，Qwen 3.8 27B 达到 6645 tok/s prefill、316 tok/s decode 峰值。开源在 GitHub（GGZ14/saber-engine）。
「Infra」频道最新
- 玩家晒个人 AI Agent 极致配置：本地 Arduino 板 40 TOPS 加三朵云打通 — unixterminal · 2026-11-07
- 四大巨头 AI 资本开支涨 5-8 倍，苹果反降 20% 成 Mag7 唯一跑赢纳指者 — a16z · 2026-11-07
- 研究者预判：抽取与摘要负载够大，推理服务将出现 prefill 主导专用端点 — sh_reya · 2026-11-07
- SurrealDB 4 发布：主打 agent 专用数据库，兼容 PostgreSQL/MySQL — mattturck · 2026-11-07
- 印度宣布 24 个月内造出国产 GPU，分析指 EUV 才是真门槛 — SumitGup · 2026-11-07
- SGLang 大会下周旧金山 Fort Mason 举行，Eric Jang 现场约聊分布式推理训练 — ericjang11 · 2026-11-07