计量学者争论内部困惑度指标:tokenizer 差异使其不可跨模型比较

davidmanheim · x · 2026-11-23

David Manheim 回复 Boaz Barak,质疑其所在博客发布的评估指标:既然不同模型的 tokenizer 切分不同导致困惑度不可直接比较,就应当报告按字节归一的困惑度(per-byte perplexity),至少也应在已知问题清单中提及这一点——尤其该指标还被宣传为禁止进一步训练的通用标准依据。Barak 方面回应称博客已明确这是内部指标、不可直接迁移,tokenizer 只是单位问题、相对次要;他们关心的现象本质上是压缩,可以找到跨模型测量压缩的方法。

所属事件:OpenAI 公布困惑度数据引跨实验室基准之争(10 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →