博主追问:perplexity 横评回避 Anthropic tokenizer 是否故意不诚实

davidmanheim · x · 2026-11-23

davidmanheim 继续追问 perplexity 对比博客的动机:作者究竟是不知情 Anthropic 的 tokenizer 会让对比不公平,还是有意避免提出一个「不那么不诚实」的比较基准?对方回应:用 bits per byte 就能解决口径问题,只是这个数字「不够抓眼球」。

这段讨论点破了行业 perplexity 横评的一个真问题:各家用自己的 tokenizer 报数字,天然对自家有利;统一到 bits per byte 才公平,但传播上不如原始 perplexity 有冲击力。

所属事件:OpenAI 公布困惑度数据引跨实验室基准之争(10 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →