跨 tokenizer 困惑度怎么比?学者回击 Anthropic 评测争议
quantum_geoff · x · 2026-11-23
围绕跨 tokenizer 的语言模型困惑度比较争议,quantumgeoff 回应称:懂行的人完全知道如何(以及如何不)在不同 tokenizer 之间公平比较 perplexity,所以没必要专门讨论。他承认这里存在真正微妙的技术问题,但认为「Anthropic tokenizer 导致比较不公平」这种指控并不属于其中。相关讨论中还有人指出 bits per byte 是解决该问题的标准做法,只是数字不够直观。
「模型」频道最新
- Pedro Domingos:OpenAI 承认预训练能力自 2022 年来几乎没进步 — pmddomingos · 2026-11-23
- Inkling-2-Mini 单卡本地跑出 KernelBench-Mega 10.04x,超越多家旗舰 — ziqiao_ma · 2026-11-23
- 百度开源 Unlimited-OCR:3B 参数一次读完 100 页 PDF,OmniDocBench 93% — udmrzn · 2026-11-23
- 改词典 10 个词就能「切除」模型拒绝:Vocab Surgery 拒答率归零 — morgymcg · 2026-11-23
- Thinking Machines 发布 Inkling 2 Small:AA 智能指数得分 31 — _Hao_Zhu · 2026-11-23
- 曝 OpenAI 内部 loss ladder:0.68-0.7 区间将现何种能力未知 — tallmetommy · 2026-11-23