斯坦福论文：BPB 并非 tokenizer 无关指标

斯坦福的 Rylan Schaeffer 与 Sanmi Koyejo 发布预印本《Tokenizer Myths and Where To Find Them》，此前曾在 GV 团队主办的 SF 研究之夜预讲。论文指出业界默认 tokenizer 无关的 bits-per-byte（BPB）指标其实并非真正中立：用完全未训练、只会均匀猜词的模型测试，不同 tokenizer 也会给出不同的 BPB 结果，因此不应以单一 BPB 指标评判模型优劣，并逐条击破三大 tokenizer 迷思。

2026-11-06 ~ 2026-11-06 · 3 条相关

• 新预印本《Tokenizer Myths》系统拆解分词器迷思 — RylanSchaeffer · 2026-11-06
• 斯坦福论文：BPB 并非 tokenizer 无关，勿以单指标评判模型 — rohanpaul_ai · 2026-11-06
• 《Tokenizer Myths and Where To Find Them》：三大 tokenizer 迷思逐条击破 — rohanpaul_ai · 2026-11-06