13 模型 probe 显示: token 速度预测不了真实任务耗时
According-Floor5177 · reddit · 2026-07-23
这条帖子认为，tokens/sec 不能预测模型完成一个真实任务的速度和成本。
- 作者引用了一次小规模 probe：13 个模型、每个 6 次运行，按墙钟时间而不是吐字速度统计。结果里，KAT-Coder 虽然 token 速度排第三，但因为总共用了 5,536 个 token，最终只排第十；而 GPT-5.5 只用了 1,777 个 token。
- 成本排序也和 token 速度不一致，说明“每秒输出多少 token”并不等于“做完任务更省钱”。
- 另外还有明显的提供商差异：Kimi K2.7 在 Together 上约 223 tok/s，在 DeepInfra 上只有 28 tok/s；GLM-5.2 则在 6 次运行里落到了 6 个不同 provider。
「Infra」频道最新
- Claude 近半营收来自云市场渠道，占比三年内从 11% 涨至 47% — BenBajarin · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26