研究者炮轰 OpenAI 晒困惑度数据逼 Anthropic 走入不公平对比
研究者 David Manheim 对 OpenAI 公开困惑度数据并提出将其作为跨实验室能力上限指标的做法提出尖锐批评,称其「狡猾且不诚实」:这相当于公开施压 Anthropic 交出同类数字,再迫使对方解释两套数字的差异。他还从技术层面指出,Anthropic 使用更细粒度的 tokenizer,其困惑度数值天然处于劣势,因此以 perplexity 设能力上限会系统性偏向 OpenAI。
2026-11-23 ~ 2026-11-23 · 5 条相关
- 第 1 集:OpenAI 公开困惑度数据,提议设行业安全上限(2026-11-23,37 条)
- 第 2 集:研究者炮轰 OpenAI 晒困惑度数据逼 Anthropic 走入不公平对比(2026-11-23,5 条)
- 研究者质疑用 perplexity 设能力上限:tokenizer 粒度天然偏向 OpenAI — davidmanheim · 2026-11-23
- OpenAI 自曝压缩趋势数据,Boaz Barak 称跨 labs 对比需统一基准 — boazbaraktcs · 2026-11-23
- 研究者批 OpenAI 晒困惑度数据系「阴招」:逼 Anthropic 接不公平对比 — davidmanheim · 2026-11-23
- 风险学者批 OpenAI:基准数据披露手法「 sneaky 且不诚实」 — davidmanheim · 2026-11-23
- 研究者质疑 OpenAI 困惑度提案:故意回避混淆度量差异的动机 — davidmanheim · 2026-11-23