perplexity 跨厂商对比引质疑:不同 tokenizer 根本不可直接比

davidmanheim · x · 2026-11-23

davidmanheim 讽刺某篇讨论 perplexity 作为 AI 进步指标的博客,指出其列举的局限性里竟「恰好」漏掉了最显然的一条:不同厂商(如 Anthropic)使用不同 tokenizer,各自的 perplexity 数字根本不可直接横向对比。

对方回应称「懂行的人都知道怎么比、怎么不比」;另一条讨论指出用 bits per byte 可以修复这个问题,只是数字不那么好看。配图显示该博客确实列举了 perplexity 的挑战:跨实验室数据集不可比、与可操作评测脱节、未计入 pretraining 之外的进步(如 CoT 推理)、未知的损失下限等。

所属事件:OpenAI 公布困惑度数据引跨实验室基准之争(10 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →