1740 TPS 被质疑刷榜:针对 benchmark 训练投机模型,P90 掩盖真实速度

VoidAsuka · x · 2026-11-15

有人实测指出某部署在 4xB300 上 1740 TPS 的 decode 成绩存疑：这个数字只在官方展示的 prompt 上成立——该 prompt 接受率极高（每步 5.6 tokens）。换成普通编程工作负载（开 thinking）后降到约 1200 TPS，聊天/写作负载更是只有约 750 TPS。

关注推理基准的 caoshuxun 评论称，当前推理领域「benchmaxxing」（为刷榜而优化）泛滥：有人在 benchmark 数据集上专门训练投机解码模型来美化数字。他还指出如今很多基准用 P90 指标，并不能代表普通用户实际体验到的速度。