为何模型规模难以预测下游能力?这篇论文定位了原因
BlancheMinerva · x · 2026-09-28
Blanche Minerva 在讨论串中补充另一篇论文《Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?》,解释为什么前沿模型的下游能力比预训练 loss 更难随规模预测。
- 用 5 个模型家族、12 个主流选择题 benchmark 验证:下游性能由负对数似然经一系列变换计算而来,这些变换逐步破坏了性能与规模之间的统计关系
- 核心机制:选择题指标需要把正确选项与少数特定错误选项比较,因此准确预测下游能力不仅要预测概率质量如何向正确选项集中,还要预测概率如何在特定错误选项上波动
- 作者指出,这篇论文之后该领域已有实质进展,下游评测的可预测性已大幅提升
这是对「AI 安全员做什么」的第二个实证回答:让模型能力的规模扩展可预测,本身就是工程与政策都依赖的研究工作。
所属事件:EleutherAI 研究员回应安全性质疑并分享两篇论文(2 条相关)→
「模型」频道最新
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16