OpenAI 发布困惑度透明度报告,有人呼吁公开留存评测集
scaling01 · x · 2026-11-23
OpenAI 研究者 merettm 宣布在《Perplexity and Intelligence》一文中提升预训练进展的透明度,主张基于困惑度(perplexity)等度量建立共同的安全基准,模型能力的进一步推进应以能否理解 AI 行为为门槛。转发者 oneillc 进一步呼吁:OpenAI 对 AI 安全最有影响力的举措是直接公开其留存的困惑度评测集,这能立刻改变行业比较基模型质量的方式。文中还引用 Jakub 的观点:不同实验室使用不同评测集和数据混合,难以横向比较,但若以透明为目标,可以找到可迁移的比较方法。
所属事件:OpenAI 首席科学家公开预训练困惑度数据,提议行业安全标尺(17 条相关)→
「模型」频道最新
- 博主给出综合模型榜:opus 5.5 居首,兼顾成本与速度 — MatthewBerman · 2026-11-23
- OpenAI 提出以困惑度为共同安全门槛,预训练进展将更透明 — anpaure · 2026-11-23
- 用 Gemini 4 Neon 做出黄金街第一视角凶案推理游戏 — venturetwins · 2026-11-23
- OpenAI 基座模型困惑度路线图泄露:内部模型已越千年数学奖门槛 — iruletheworldmo · 2026-11-23
- 微调 Inkling 2 Mini 做工单路由:54% 问题一轮即可出结果,时延降四成 — eltokh7 · 2026-11-23
- OpenAI 员工确认 GPT-4.1 并非全新预训练,只是 mid-train — JasonBotterill · 2026-11-23