困惑度跨模型比较引争论,Boaz Barak回应tokenizer质疑
11月23日,围绕一篇将困惑度(perplexity)作为AI进步衡量指标的博客,学界在X上展开争论,焦点是不同tokenizer下困惑度是否可以跨模型比较。哈佛教授、前OpenAI成员Boaz Barak亲自下场回应质疑。
已确认
- David Manheim发文讽刺该博客列举了诸多局限性,却「恰好」漏掉最明显的一条:不同厂商(如Anthropic)使用不同tokenizer,各自的困惑度数字不能直接比较。
- Manheim进一步追问博主动机:是不知情Anthropic的tokenizer会让对比不公平,还是有意回避更诚实的比较基准;对方回应称可用bits per byte等方式处理。
- Boaz Barak回应批评,澄清两点:该指标是内部指标,博客已明确说明不能直接跨模型迁移;tokenizer差异只是单位问题,属于相对次要的因素。
- quantumgeoff也就此回应:懂行的人完全知道如何(以及如何不)在不同tokenizer之间公平比较perplexity,因此没必要专门讨论,但他承认其中存在真正微妙的技术问题。
- Manheim回复Barak,坚持认为既然不同模型的tokenizer切分导致困惑度不可直接比较,博客就应报告按字节归一的困惑度(per-byte perplexity),至少应有所说明。
为什么重要
- 困惑度是语言模型评测的常用指标,但跨厂商比较时的tokenizer差异是容易被忽视的方法论陷阱,直接影响公开评测结论的可信度。
- 争议双方分歧点在于:这属于「博客已声明的内部指标使用范围」问题,还是应当在报告层面主动做归一化处理,反映了AI评测透明度标准的讨论空间。
2026-11-23 ~ 2026-11-23 · 5 条相关
一手来源
- Boaz Barak 回应质疑:内部困惑度指标不可跨模型直接迁移 — boazbaraktcs ·
- perplexity 跨厂商对比引质疑:不同 tokenizer 根本不可直接比 — davidmanheim ·
- 计量学者争论内部困惑度指标:tokenizer 差异使其不可跨模型比较 — davidmanheim ·
- 博主追问:perplexity 横评回避 Anthropic tokenizer 是否故意不诚实 — davidmanheim · 2026-11-23
- 跨 tokenizer 困惑度怎么比?学者回击 Anthropic 评测争议 — quantum_geoff · 2026-11-23
- 【源头】perplexity 跨厂商对比引质疑:不同 tokenizer 根本不可直接比 — davidmanheim · 2026-11-23
- 【源头】Boaz Barak 回应质疑:内部困惑度指标不可跨模型直接迁移 — boazbaraktcs · 2026-11-23
- 【源头】计量学者争论内部困惑度指标:tokenizer 差异使其不可跨模型比较 — davidmanheim · 2026-11-23