任务难度幂律模型:同一能力提升为何带来不均等的评测提升
teortaxesTex · x · 2026-10-31
AI 评测圈讨论者 teortaxesTex 提出一个刻画任务复杂度的简化模型:任务难度连续分布且服从幂律尾,模型能力提升会以固定倍数(约 2.73 倍)统一放大所有任务的成功几率(odds)。
配图推演展示了一个可复现的数值构造:
- 成功概率用带噪声阈值的 sigmoid 刻画,能力 c 的提升等比放大每个任务的成败几率;
- 已接近饱和的任务 pass@1 仍能明显提升,但 pass@3 提升空间有限;极难任务虽成比例改善,三次尝试内成功率依然极低;
- 用该幂律难度分布拟合,可同时复现 pass@1 从 88.10%→92.30%、pass@3 从 94.82%→95.36% 的不均等增益,且无需任务特定记忆机制或永久误差地板。
作者自己表示对 RL 在近不可能任务上的效果存有保留,但认为该框架对评测爱好者是个简洁的思考工具。
「研究」频道最新
- 4B 模型学 11.7 万条决策样本：各项媲美 Jev，唯独读不懂讽刺 — SRSchmidgall · 2026-10-31
- David Baker 团队新预印本：蛋白质设计可降低 CD8⁺ T 细胞免疫原性 — gottapatchemall · 2026-10-31
- 公司按篇付费 $300 收购 ICLR/NeurIPS 一作问卷，研究生薅羊毛贴 — Icy-Park4287 · 2026-10-31
- Gary Marcus 讽刺 OpenAI 新算法:变量阈值 10^25,实跑仍是指数时间 — AlexTensor · 2026-10-31
- NVIDIA BindClaw 引发观察：AI4Bio 新方法必须接入 Agent 流水线才算完整 — rishabh16_ · 2026-10-31
- Kyutai 等复现 Neural Thickets：收益无需权重扰动，冻结模型加 logit 偏置即可 — kastnerkyle · 2026-10-31