跨 tokenizer 困惑度怎么比?学者回击 Anthropic 评测争议

quantum_geoff · x · 2026-11-23

围绕跨 tokenizer 的语言模型困惑度比较争议,quantumgeoff 回应称:懂行的人完全知道如何(以及如何不)在不同 tokenizer 之间公平比较 perplexity,所以没必要专门讨论。他承认这里存在真正微妙的技术问题,但认为「Anthropic tokenizer 导致比较不公平」这种指控并不属于其中。相关讨论中还有人指出 bits per byte 是解决该问题的标准做法,只是数字不够直观。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →