《Tokenizer Myths and Where To Find Them》：三大 tokenizer 迷思逐条击破
rohanpaul_ai · x · 2026-11-06
Stanford 的 Rylan Schaeffer 与 Sanmi Koyejo 发布 arXiv 论文《Tokenizer Myths and Where To Find Them》（35 页），系统挑战 tokenization 研究文献中的三大迷思：
- 迷思一：BPB 与 tokenizer/词表大小无关。 BPB = 每字节 token 数 × 每 token 比特数，两个因子并不相消；用未训练模型证明 BPB 会偏好某些 tokenizer——模型什么都没学，但 tokenizer-模型组合「学」了。
- 迷思二：更低 BPB 意味着更好模型。 未训练模型上 BPB 强烈偏好某些词表大小而准确率仍为随机；真实模型上 BPB 与下游性能仅弱相关。
- 迷思三：各种「tokenizer 无关」指标结果一致。 unigram-normalized loss 并非 tokenizer 无关，其与 BPB 报告的 0.989 相关性源于混杂因素，修正后降至 0.057；同一数据下两指标在每个模型规模都选出不同词表。
论文提出 tokenizer 三难（trilemma）：没有任何指标能同时做到只对真实分布最优、给相同预测相同分数、并让所有未训练模型打平——选指标就是选研究问题。文末给出阅读 tokenization 文献的注意事项与未来工作猜想。
所属事件:斯坦福论文：BPB 并非 tokenizer 无关指标(3 条相关)→
「研究」频道最新
- Meta 提出 Axia：少量试跑即可学到推荐排序模型的 scaling law — _reachsumit · 2026-11-06
- Meta 提出 CAP-Mix：软原型混合替代硬 Semantic ID，提升生成式检索 — _reachsumit · 2026-11-06
- 斯坦福团队提出 Joules-to-GDP 指标：衡量 AI 每焦耳能量创造多少经济价值 — niloofar_mire · 2026-11-06
- Weaver 框架：增量推理从历史对话中检索并追踪用户偏好适用范围 — _reachsumit · 2026-11-06
- METR 评估 Anthropic 用 AI 加速 AI 研发，Gary Marcus 质疑超级智能18个月论 — GaryMarcus · 2026-11-06
- arXiv 论文：按查询动态调重排深度，平均深度可省 3 倍不掉效果 — _reachsumit · 2026-11-06