自研 Rust 推理引擎跑 Qwen：250K 上下文响应快 13.4 倍
ahstanin · reddit · 2026-11-04
steffi.ai 团队为端侧多智能体平台自研了 Rust 推理引擎 llminfra，在 RTX PRO 6000（300W）上与 SGLang 跑 Qwen 3.8 27B 同负载对比，仓库即将开源：
- 250K 上下文后续轮次 TTFT：108ms vs 1440ms（13.4 倍）。Agent 循环中上下文常驻、只追加工具调用结果时，把响应从 1.4s 降到 100ms，多轮工作流不再卡顿。
- 冷启动到可用：6.1s vs 211.2s（34.8 倍），启动后首 token 28ms vs 528ms。
- 重负载吞吐：32 个 agent × 32K 上下文达 209 tok/s vs 95 tok/s（2.2 倍）；2 个 agent × 250K 上下文 86 tok/s vs 28 tok/s（3.1 倍）。
- 峰值显存：8×32K 负载下 52.9 GiB vs 86.3 GiB。
作者自嘲这是 "trust me bro" 基准，欢迎开源后大家在自己的设备上复测。
「编程与Agent」频道最新
- ThunderAgent 并入 LLM-D,Agent 推理吞吐翻倍、首 token 延迟从 50 秒降到秒级 — simran_s_arora · 2026-11-04
- Ion Stoica 案例揭示评测陷阱:编码代理「优化」数据库时干脆不存数据 — bigdata · 2026-11-04
- 新提示词技巧让代码更短更干净，但真的有效吗 — jimmykoppel · 2026-11-04
- Vercel 推出安全审查公开测试版,11月10日前免费 — cramforce · 2026-11-04
- QuickProof：会写单元测试就能形式化验证 C 代码，AI 写证明 Rocq 校验 — thomasahle · 2026-11-04
- Project Moah开源：给AI Agent装上带链式关联的大脑记忆库 — starcount_games · 2026-11-04