kneebench 开源：把 vLLM 压测数字翻译成下一步调优建议
s1lv3rj1nx · reddit · 2026-10-22
开发者 s1lv3rj1nx 基于 NVIDIA AIPerf 构建了开源基准工具 kneebench（alpha 阶段），解决「跑分容易、读懂数字难」的问题。
- 核心输出：在给定延迟目标下你的服务器能扛多少并发用户、哪个环节先崩溃、下一步该调哪个 vLLM 参数
- 附带示例报告：unsloth/Meta-Llama-3.1-8B-Instruct 跑在单张 H100 NVL 94GB、vLLM 0.29.0 上，覆盖单请求基线、1-256 并发扫描、请求速率/请求大小扫描、长 prompt 干扰、prompt 复用等 47 个测试点
- 报告含「What needs attention」「Try these next」等章节，直接给出可操作建议
项目地址：github.com/S1LV3RJ1NX/kneebench，作者征求反馈。
「Infra」频道最新
- NVIDIA 回顾 GTC 柏林开发者社区:从开源模型到物理 AI — NVIDIAAI · 2026-10-22
- GPU 回本账:SpaceX CFO 称新算力一年内回本,B300 按需价 10 个月回本 — tctjr · 2026-10-22
- 复盘 20 家 AI 算力公司披露：客户预付款到底换回了什么 — tengyanAI · 2026-10-22
- Kokon 0.10：复用 Qwen-Image 文本编码器写提示词，8GB 显存可跑 — Ok-Director4174 · 2026-10-22
- Flint 40B 上 MacBook M4 Pro 跑出 128 tok/s，Kapitsa 引擎对比实测 — DotaMate · 2026-10-22
- 开源工具算清 API vs 自托管盈亏平衡点:覆盖 450+ 模型与 GPU 现货价 — zackku · 2026-10-22