ApprenticeBench 称最强区分度:同级模型实际工作完成率 72% 对 18%
ysu_nlp · x · 2026-09-11
博主 WadeYin9712 引用 ApprenticeBench 发布帖，称该基准可能是目前区分度最强的 agent 评测，显示 Fable 5.1 与 GPT-6 Astra 出现代际跃迁。
- ApprenticeBench 考察「计算机使用 + 在真实岗位上持续学习」：agent 需从历史账单学习公司惯例、适应政策变化、并用公司软件完成工作，追求生态效度
- 关键反差：Fable 5.1 与 Opus 5 在 AA、Terminal-Bench 4.0、CursorBench 4.0 上仅差几分，但在该基准上完成率为 72% vs 36%
- 开源权重模型差距更大：AA 上 53 与 44 分的 Fable 5.1 和 Kimi K3，在这里为 72% 与 18%
- 作者解释：单项挑战上模型差距不明显，但所有挑战叠加时小差距会复利放大为「能否胜任工作」的巨大差异
所属事件:ApprenticeBench发布：首个岗位级持续学习基准(14 条相关)→
「漫话AGI」频道最新
- 读懂AI意识之争:先分清对方站在哪种立场 — msharmas · 2026-10-27
- 功能主义视角：意识只是大脑的计算，硅片复现同样功能即得同样结果 — msharmas · 2026-10-27
- iPhone 新壳狂揽 8.5 万条评价：丰饶时代的万物皆假 — tekbog · 2026-10-27
- AI 能否有意识取决于你如何定义：理解意识的五种理论框架 — msharmas · 2026-10-27
- dunkhippo33 开聊:AI 时代该如何养育孩子 — kimmonismus · 2026-10-27
- AI 教育者：电工科班训练教我的系统瓶颈思维不会过时 — dunkhippo33 · 2026-10-27