计量学者争论内部困惑度指标:tokenizer 差异使其不可跨模型比较
davidmanheim · x · 2026-11-23
David Manheim 回复 Boaz Barak,质疑其所在博客发布的评估指标:既然不同模型的 tokenizer 切分不同导致困惑度不可直接比较,就应当报告按字节归一的困惑度(per-byte perplexity),至少也应在已知问题清单中提及这一点——尤其该指标还被宣传为禁止进一步训练的通用标准依据。Barak 方面回应称博客已明确这是内部指标、不可直接迁移,tokenizer 只是单位问题、相对次要;他们关心的现象本质上是压缩,可以找到跨模型测量压缩的方法。
所属事件:OpenAI 公布困惑度数据引跨实验室基准之争(10 条相关)→
「研究」频道最新
- 从四色定理到欧拉猜想:枚举如何成为数学证明的合法工具 — moarbugs · 2026-11-23
- MICCAI 演讲:全球协作与 AI 数据缩放定律绘制人类脑疾病图谱 — PTenigma · 2026-11-23
- 港大等团队提出 AutoThink:推理链缩短 65%,决策准确率提升 11.5–18.4 个百分点 — jiqizhixin · 2026-11-23
- ENIGMA 问答实录:开放数据为何让阿尔茨海默 AI 分类快速突破 — PTenigma · 2026-11-23
- VLA 机器人提速的 25 种方法全景盘点,附论文与代码 — TheTuringPost · 2026-11-23
- 一群 AI 智能体组队「在线攻克」P=NP,1740 次会话仍在跑 — kimmonismus · 2026-11-23