专题 · FULL STORY

OpenAI 公开困惑度数据:透明倡议引争议

11 月 23 日,OpenAI 首席科学家 Jakub Pachocki 等发布文章,公开模型困惑度趋势数据并提议设立行业安全上限。此举随即引发关于透明度与「步速协议」的公开争论,前 OpenAI 研究副总裁 Boaz Barak 等也加入讨论,质疑其透明还是陷阱。

2026-11-23 ~ 2026-11-23 · 2 集 · 43 条

第 1 集 · OpenAI 公开困惑度数据,提议设行业安全上限(2026-11-23,38 条)

11 月 23 日,OpenAI 首席科学家 Jakub Pachocki(merettm)与研究员 markchen90 联合发布文章《Perplexity and Intelligence》,首次公开 OpenAI 内部的预训练困惑度(log-perplexity,等价于交叉熵损失)测量数据,并提议将其确立为全行业共享的安全标尺。Sam Altman 转发称这是 OpenAI 近期最重要的发布。这一提议若被采纳,可能首次形成可量化、可验证的跨公司能力协调机制,因此备受关注。

已确认

  • Pachocki 首次公开 OpenAI 内部预训练困惑度数据。据 @AntiqueAtmosphere97 转述,GPT-4 时代困惑度约 0.91,当前模型已降到 0.8 以下。
  • 文章主张将困惑度确立为跨模型开发商可比的统一指标,并基于此类可测量指标设定共同的能力上限:超过阈值后的进一步能力进展,应以满足共同安全标准(如对 AI 行为的理解)为前提。
  • markchen90 补充了提案动机:各前沿实验室各自撰写 safety cases、自设护栏,导致 AI 竞赛难以避免「逐底竞争」,行业应在共同限制和共享安全案例下运行。
  • Sam Altman 转发确认并高度评价(同时将此前推文中的拼写错误 "frield" 修正为 "field"),并说明各前沿实验室已根据白宫协议(White House Accords)承诺建立提升系统安全性的标准与最佳实践,可用 perplexity 等度量进一步落实这些目标。
  • Elon Musk 回应称,除非自己漏掉了什么,数据枯竭将成为明年的核心训练挑战,并吐槽术语:既然有 pretraining 就该有 posttraining。
  • 社区对图表的解读(@kimmonismus、@iruletheworldmo 等):图表显示内部模型困惑度已破 0.76,标注「Solved a Millennium Prize problem」的模型很可能是 GPT-6.2 Astra(被认为解决了 Navier-Stokes 问题);据 @ZeroStateReflex 转述,从 GPT-6.2 Astra 到更新的内部模型,困惑度两个月内从 0.761 进一步下降,追平代际差距;@iruletheworldmo 还称 Google 正在训练一个能力堪比 fable 但小得多的模型。
  • Mustafa Suleyman 转发称赞此事「非常重要」;Greg Brockman 称这是迈向行业共享安全标准的透明化尝试;安全研究者 Ajeya Cotra 表示欢迎,认为困惑度是天然的追踪指标,希望其他前沿公司效仿;前 OpenAI 成员 willdepue 对 OpenAI 选择发表此文感到惊讶,并称赞其选择透明而非竞争。

尚未确认

  • 图表相关细节(GPT-6.2 Astra 解决 Millennium 难题、内部更强模型、Google 的新模型)均来自社区对曲线图的解读与转述,OpenAI 官方未逐一确认。
  • 该提议能否被其他模型开发商接受并实际采纳,目前尚无其他公司正式回应。

为什么重要

  • 内部训练指标此前属于各实验室最不透明的信息之一,OpenAI 主动公开困惑度数据为跨公司比较模型能力提供了少见的共同基准。Peter Wildeford 据此评论称 OpenAI 在透明度上已在 Anthropic 的看家领域形成反超(经 @shakoistsLog 转述)。
  • 若被行业采纳,可能首次形成可量化、可验证的协调性安全门槛,而非仅靠承诺或评估基准;马斯克的回应也提示,即便指标共享,预训练本身还面临数据枯竭等现实约束。
  • 社区(经 @scaling01 转述)有人呼吁进一步公开留存评测集,显示对更深层次透明的期待。多位作者(@sama、@merettm、@gdb、@mustafasuleyman、@polynoamial、@DKokotajlo、@btibor91、@eliebakouch 等)均独立转述此事,显示其受到广泛关注。

还有 18 条相关讨论 →

第 2 集 · OpenAI 公布困惑度数据引争议:透明还是陷阱(2026-11-23,5 条)

OpenAI 公布了模型压缩/困惑度相关的趋势数据,引发前沿实验室「步速协议」与基准对比的公开争论。前 OpenAI 研究副总裁 Boaz Barak 评价此举是代价很高的透明措施,并表示若 Anthropic 也公布同类数字,双方就能找到可比的方法,实现跨实验室对比。

已确认

  • Boaz Barak(前 OpenAI 研究副总裁)公开评论:OpenAI 披露趋势数据是高成本透明举措,希望 Anthropic 跟进公布同类数字以便对比。
  • David Manheim 对 OpenAI 的做法提出多轮批评,涉及与 Boaz Barak、Dan Kokotajlo 等人的讨论。

尚未确认

  • Manheim 认为 OpenAI 的披露手法「狡猾且不诚实」:先发布一个数字,等 Anthropic 被迫公布可对比数字后,再解释两套数字为何不可比,而非自己提前说明。
  • Manheim 从技术上质疑以 perplexity 作为跨实验室统一能力上限指标:Anthropic 使用更细粒度的 tokenizer,其 per-token perplexity 天然更低,任何此类对比都天然偏向 OpenAI。
  • 针对 OpenAI《Perplexity and Intelligence》提案,Manheim 批评其在提出「基于困惑度等度量的共同上限」时,明知困惑度会出现显著差异的原因,却刻意将该原因从解释列表中省略。

为什么重要

  • 事件触及前沿实验室之间的「步速协议」如何落地:若要跨实验室比较模型能力进展,需要统一且公平的度量基准。
  • 围绕 tokenizer 粒度差异的技术质疑,说明单纯公布困惑度数字可能造成系统性偏向,影响政策层面能力上限的设定。