Perplexity Cross-Model Comparison Dispute Prompts Response from Boaz Barak
11月23日,围绕一篇将困惑度(perplexity)作为AI进步衡量指标的博客,学界在X上展开争论,焦点是不同tokenizer下困惑度是否可以跨模型比较。哈佛教授、前OpenAI成员Boaz Barak亲自下场回应质疑。
已确认
- David Manheim发文讽刺该博客列举了诸多局限性,却「恰好」漏掉最明显的一条:不同厂商(如Anthropic)使用不同tokenizer,各自的困惑度数字不能直接比较。
- Manheim进一步追问博主动机:是不知情Anthropic的tokenizer会让对比不公平,还是有意回避更诚实的比较基准;对方回应称可用bits per byte等方式处理。
- Boaz Barak回应批评,澄清两点:该指标是内部指标,博客已明确说明不能直接跨模型迁移;tokenizer差异只是单位问题,属于相对次要的因素。
- quantumgeoff也就此回应:懂行的人完全知道如何(以及如何不)在不同tokenizer之间公平比较perplexity,因此没必要专门讨论,但他承认其中存在真正微妙的技术问题。
- Manheim回复Barak,坚持认为既然不同模型的tokenizer切分导致困惑度不可直接比较,博客就应报告按字节归一的困惑度(per-byte perplexity),至少应有所说明。
为什么重要
- 困惑度是语言模型评测的常用指标,但跨厂商比较时的tokenizer差异是容易被忽视的方法论陷阱,直接影响公开评测结论的可信度。
- 争议双方分歧点在于:这属于「博客已声明的内部指标使用范围」问题,还是应当在报告层面主动做归一化处理,反映了AI评测透明度标准的讨论空间。
2026-11-23 ~ 2026-11-23 · 5 related posts
Primary sources
- Boaz Barak defends internal perplexity metric: not directly transferable across models — boazbaraktcs ·
- Perplexity Cross-Lab Comparisons Questioned: Tokenizer Differences Make Numbers Incomparable — davidmanheim ·
- Researcher pushes back on internal perplexity metric: report per-byte or admit tokenizer gaps — davidmanheim ·
- Was the Perplexity Comparison Dishonest? Anthropic's Tokenizer Made It Unfair — davidmanheim · 2026-11-23
- Perplexity across tokenizers: researcher pushes back on Anthropic comparison controversy — quantum_geoff · 2026-11-23
- [source] Perplexity Cross-Lab Comparisons Questioned: Tokenizer Differences Make Numbers Incomparable — davidmanheim · 2026-11-23
- [source] Boaz Barak defends internal perplexity metric: not directly transferable across models — boazbaraktcs · 2026-11-23
- [source] Researcher pushes back on internal perplexity metric: report per-byte or admit tokenizer gaps — davidmanheim · 2026-11-23