ApprenticeBench发布:首个岗位级持续学习基准
NeoCognition 于 09-11 发布 ApprenticeBench,定位为全球首个「岗位级」持续学习基准:把智能体放进类似人类学徒的真实工作环境中,以计算机使用、持续学习与长时程工作为评测对象,一次运行即可从多个维度评估持续学习能力,且不依赖前置工程师(FDE)介入调教。团队称 Fable 5.1 与 GPT-6 Astra 已能端到端学会一份知识工作,在岗位上持续学习并超越人类专业人士。
已确认
- 基准首个场景为建筑业应付账款(AP)录入,由具备四年一线经验的 Gave 联合创始人设计,agent 需从历史记录与反馈中学习成长,通过 GUI 或 API 处理账单。
- 首测成绩:闭源 Fable 5.1 综合得分 72%,每任务成本 $18.23;开源 Kimi K3 仅 18%。博主 WadeYin9712 转发称这可能是目前区分度最强的 agent 评测,显示 Fable 5.1 与 GPT-6 Astra 出现代际跃迁。
- 首测结论:顶级模型走 GUI 已胜过 API,「CUA 税」消失。
- 论文指出通往 AGI 的两大路障——递归自我改进与持续学习——本质同源:AI 不仅要像人一样行动,还要像人一样不断学习。
- David Patterson 转发并评论称,AI 正变得能够胜任完整工作,智能体有望在一两年内成为跨行业的独立劳动力。
- 发布团队包括 NeoCognition 创始人 ysunlp 团队、从 UCSD 休职加入的研究者 yuxiangwcs;Boyu Gou(SeeAct、UGround、Mind2Web 2 作者)参与首测发布。
为什么重要
- 现有基准大多在考试式环境中考察模型解题能力,ApprenticeBench 把「长时程」从单个超长任务(如让 Agent 写 GTA 6)转向跨任务的持续成长,检验 Agent 能否像新员工一样通过工作积累学会一份工作,为持续学习与长程智能体能力提供了贴近真实岗位的评测标准。
- 首测中「GUI 已胜过 API」意味着计算机使用智能体不再因走图形界面付出额外代价,对 CUA 方向的工程选择有直接参考价值。
- 闭源与开源 72% 对 18% 的巨大差距,为开源模型在真实综合工作场景中的追赶难度提供了量化参照。
2026-09-11 ~ 2026-09-12 · 14 条相关
一手来源
- Fable 5.1 与 GPT-6 Astra 可端到端学会一份知识工作,超人类专家 — ysu_nlp ·
- ApprenticeBench 揭真实工作差距:闭源 72% vs 开源 Kimi K3 仅 18% — ysu_nlp ·
- ApprenticeBench首测:顶级模型走GUI已胜过API,CUA税消失 — ysu_nlp ·
- 【源头】Fable 5.1 与 GPT-6 Astra 可端到端学会一份知识工作,超人类专家 — ysu_nlp · 2026-09-11
- NeoCognition 发布 ApprenticeBench:AI 持续学习真实工作岗位的基准 — yuxiangw_cs · 2026-09-11
- NeoCognition 推出 ApprenticeBench:让 AI 像学徒一样边干边学 — yuxiangw_cs · 2026-09-11
- 首个端到端基准:在真实工作中评测 AI 的持续学习与长程智能体能力 — ysu_nlp · 2026-09-11
- 建筑应付账场景切入,ApprenticeBench 考验 Agent 长期学岗能力 — ysu_nlp · 2026-09-11
- 全球首个岗位级持续学习基准:Agent 边干活边成长超越人类 — ysu_nlp · 2026-09-11
- ApprenticeBench:测 agent 能否像新员工一样在岗位中成长并超越人类 — hhsun1 · 2026-09-11
- 【源头】ApprenticeBench首测:顶级模型走GUI已胜过API,CUA税消失 — ysu_nlp · 2026-09-11
- 【源头】ApprenticeBench 揭真实工作差距:闭源 72% vs 开源 Kimi K3 仅 18% — ysu_nlp · 2026-09-11
- ApprenticeBench 称最强区分度:同级模型实际工作完成率 72% 对 18% — ysu_nlp · 2026-09-11
另有 4 条近重复转述:ysu_nlp · ysu_nlp · yuxiangw_cs · ysu_nlp