斯坦福论文：BPB 并非 tokenizer 无关，勿以单指标评判模型
rohanpaul_ai · x · 2026-11-06
Stanford 新论文指出，业界默认 tokenizer 无关的指标 bits-per-byte（BPB） 其实并非真正中立：用完全未训练、只会均匀猜词的模型测试，不同 tokenizer 下 BPB 仍差异明显（英文文本在约 24K 词表附近得分最好），而准确率始终停留在随机水平；在真实模型上，BPB 与下游任务得分的相关性仅在 +0.02 到 −0.30 之间。论文还复核了一项声称与 BPB 高度一致（0.989）的 tokenizer 中立指标，发现其相关性来自混杂因素，修正后骤降至 0.057，且两个指标在同一数据下会选出不同词表。作者提出「tokenizer 三难」：没有任何指标能同时只对真实分布最优、给相同预测相同分数、并让所有未训练模型打平——选择指标就是在选择研究问题。实践建议：比较不同 tokenizer 的模型时，别把更低 BPB 当作模型更好的证据，应同时检查同一文本上的任务准确率。
所属事件:斯坦福论文：BPB 并非 tokenizer 无关指标(3 条相关)→
「研究」频道最新
- Sony CSL 研究员绘制全景图：从欧氏几何到量子几何的距离与散度分类 — pickover · 2026-11-06
- Anthropic 报告被指「误导性引用」:大量估计实为猜测,不确定性被掩盖 — daveholtz · 2026-11-06
- AI 癌症 co-scientist 大项目 Project AURORA 正式启动 — zakkohane · 2026-11-06
- PNAS 论文：8-12 岁儿童比 RL 智能体探索更远，驱动因素是赋权 — _akpiper · 2026-11-06
- 谷歌开源 Agile Deliberation:用边界案例把模糊分类标准磨清晰 — aigclink · 2026-11-06
- ETH RSL 人形机器人 ACP：无参考动作、机载 50Hz 规划contacts — ChongZzZhang · 2026-11-06