同卡同模型 4 倍吞吐:Surogate 2765 tok/s 对比 llama.cpp 683
AIFlow_ML · x · 2026-11-21
AIFlowML 引用 @flaviusburca 的实测:同一张 RTX 5090、同一个小模型服务 8 个并发用户,Surogate 达到 2765 tok/s,llama.cpp 只有 683 tok/s,吞吐相差约 4 倍。
核心结论:单用户基准测试会掩盖多并发场景的巨大差距——应该按你真实服务的用户数来跑基准。
「Infra」频道最新
- Reddit 讨论:数千文件级 GPU 批量任务大家都怎么跑? — mrtonymat · 2026-11-21
- ComfyUI 读速卡在 400MB/s:换 NVMe 后模型加载不见快 — C-h_A_o-S · 2026-11-21
- 单卡 4090 跑 Inkling 2 Mini 达 ~200 tok/s:FP8+NVFP4 实测配方 — eesahe · 2026-11-21
- Inkling 2 Mini 开源模型 Mac 本地跑 125 tok/s,号称同尺寸最强 — simonguozirui · 2026-11-21
- Compound 测算 AI 减速情景:若营收腰斩,Nvidia 等或跌逾四成 — tengyanAI · 2026-11-21
- DatologyAI 开源训练数据加载器 Zephon:换 GPU 数不再打乱数据 — josh_wills · 2026-11-21