OpenAI 提出以困惑度划定预训练安全门槛,公开模型能力趋势图
StartupYou · x · 2026-11-23
OpenAI 研究员 merettm 发布《Perplexity and Intelligence》一文,宣布为推动「共同安全标准」而提高预训练进展的透明度,主张基于困惑度(perplexity)等测量指标设定通用能力上限,超过门槛的进展应以「能否理解 AI 行为」为前置条件。
配套图表汇总了 OpenAI 各代模型能力(BECI)对基座模型 log-perplexity 的关系:从 GPT-3.5 到 GPT-6.2 Astra,2023 年 3 月至 2025 年 12 月 BECI 提升 27 分而 loss 仅下降 0.025;2026 年预计 +20 BECI、loss 下降 0.127(每 0.01 loss 约换 1.6 BECI);图中还标注了一个 log-perplexity 0.732、BECI 约 178 的内部模型。o3、o1 相对基座模型各靠推理带来约 +9 BECI。
所属事件:OpenAI 公开预训练困惑度数据,提议设行业安全红线(40 条相关)→
「模型」频道最新
- RLHF 研究者 Nat Lambert:RL 正在「烤干」模型多样性 — natolambert · 2026-11-23
- Bittensor 子网 92 号称产出 200 倍速于 LLM 的 JEV 决策模型 — markjeffrey · 2026-11-23
- 在 M2 MacBook 上跑本地模型,能实时看推理全过程 — vboykis · 2026-11-23
- 物理学家称其私有黎曼猜想研究被 Claude 独立复现结论 — bdsqlsz · 2026-11-23
- 实测 pi 适配器让 Qwen 3.8 27B 工具调用减少 4 倍、提速一半 — Fabulous_Pollution10 · 2026-11-23
- Pedro Domingos:OpenAI 承认预训练能力自 2022 年来几乎没进步 — pmddomingos · 2026-11-23