perplexity 跨厂商对比引质疑:不同 tokenizer 根本不可直接比
davidmanheim · x · 2026-11-23
davidmanheim 讽刺某篇讨论 perplexity 作为 AI 进步指标的博客,指出其列举的局限性里竟「恰好」漏掉了最显然的一条:不同厂商(如 Anthropic)使用不同 tokenizer,各自的 perplexity 数字根本不可直接横向对比。
对方回应称「懂行的人都知道怎么比、怎么不比」;另一条讨论指出用 bits per byte 可以修复这个问题,只是数字不那么好看。配图显示该博客确实列举了 perplexity 的挑战:跨实验室数据集不可比、与可操作评测脱节、未计入 pretraining 之外的进步(如 CoT 推理)、未知的损失下限等。
所属事件:OpenAI 公布困惑度数据引跨实验室基准之争(10 条相关)→
「研究」频道最新
- 从四色定理到欧拉猜想:枚举如何成为数学证明的合法工具 — moarbugs · 2026-11-23
- MICCAI 演讲:全球协作与 AI 数据缩放定律绘制人类脑疾病图谱 — PTenigma · 2026-11-23
- 港大等团队提出 AutoThink:推理链缩短 65%,决策准确率提升 11.5–18.4 个百分点 — jiqizhixin · 2026-11-23
- ENIGMA 问答实录:开放数据为何让阿尔茨海默 AI 分类快速突破 — PTenigma · 2026-11-23
- VLA 机器人提速的 25 种方法全景盘点,附论文与代码 — TheTuringPost · 2026-11-23
- 一群 AI 智能体组队「在线攻克」P=NP,1740 次会话仍在跑 — kimmonismus · 2026-11-23