OpenAI 首次公开预训练进展报告,同行批其缺关键算力数据
SonglinYang4 · x · 2026-11-23
- OpenAI 发布《Perplexity and Intelligence》一文,首次公开预训练进展数据,主张以 perplexity 等度量建立共同安全阈值,超出阈值的进展应以对 AI 行为的理解能力为门槛。
- 研究者 @Grad62304977 指出报告缺少预训练算力、模型规模和每 token 推理算力等关键信息,使图中放缓或加速难以归因——可能来自模型规模变化、算法进步或 per-token 算力增加(如 looping 这类不体现在模型规模上的 scaling),并认为这些差异影响很大。
所属事件:OpenAI 公开预训练困惑度数据,提议设行业安全红线(42 条相关)→
「模型」频道最新
- 五款大模型无审查 GGUF 版免费可下:MiniMax、Qwen、Kimi 都在列 — Promptmethus · 2026-11-23
- JacquesThibs 论预训练与 RL 分工:前者定下限,后者提上限 — JacquesThibs · 2026-11-23
- Google AI Studio 模型选择器曝光 Gemini 4 系列与 Neon 模型定价 — patloeber · 2026-11-23
- Domingos 用困惑度曲线唱衰:log-PPL 降到 0.75 但成本涨了几个数量级 — pmddomingos · 2026-11-23
- RLHF 研究者 Nat Lambert:RL 正在「烤干」模型多样性 — natolambert · 2026-11-23
- Bittensor 子网 92 号称产出 200 倍速于 LLM 的 JEV 决策模型 — markjeffrey · 2026-11-23