同卡同模型 4 倍吞吐:Surogate 2765 tok/s 对比 llama.cpp 683

AIFlow_ML · x · 2026-11-21

AIFlowML 引用 @flaviusburca 的实测:同一张 RTX 5090、同一个小模型服务 8 个并发用户,Surogate 达到 2765 tok/s,llama.cpp 只有 683 tok/s,吞吐相差约 4 倍。

核心结论:单用户基准测试会掩盖多并发场景的巨大差距——应该按你真实服务的用户数来跑基准。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →