别再裸比 tok/s：不同 tokenizer 的速度数字单位不同
challis88ocarina · reddit · 2026-09-29
一篇 PSA 指出，跨模型比较 tokens/sec 常是错觉：token 是模型私有词表的切片，不同 tokenizer 的「步幅」不同，tok/s 实际是「每分钟步数」而非真实速度。
核心规则：
- 同 tokenizer 才可比：两个 llama.cpp 服务器跑同家族模型，tok/s 可直接比较。
- 不同 tokenizer = 不同单位：换算成字符速度——同样标称 40 tok/s，一个约 131 字符/秒，另一个约 193 字符/秒，实际快 1.48 倍。碎片化 tokenizer 会虚高 tok/s。
- 换算系数依赖内容：同一词表在散文上可能是 0.68 字符/token，JSON 上是 0.74，要用有代表性的工作负载实测，别信厂商营销数字。
- 一真一幻：真实的是 prefill 与成本——高效 tokenizer 让同样的对话变 fewer tokens，TTFT 更短、更省钱，这是真收益；虚幻的是跨家族的 decode 速率对比，「A 80 tok/s、B 60 tok/s」说明不了谁先答完。
结论：任何跨服务器速度对比都应附带 chars/token 或 words/sec 数据。
「Infra」频道最新
- 数据中心商承诺获批后向宾州4500户家庭各发1万美元 — Polymarket · 2026-09-29
- 曝 SpaceX 全速建设 Terafab 晶圆厂：3 月立项，已开工浇筑混凝土 — scaling01 · 2026-09-29
- Google 下周发射太空 AI 数据中心卫星,轨道上回答简单查询 — bratton · 2026-09-29
- Anthropic 工程师:AI 沙箱将从云端开发机走向每命令一环境 — ivan_bezdomny · 2026-09-29
- 用 x8/x8 拆分卡双 3090 排查 PCIe 链路重训踩坑记 — bolts98 · 2026-09-29
- 弃订阅保硬件：用户把 Whoop 手环改成完全本地运行 — SumitGup · 2026-09-29