ApprenticeBench:测 agent 能否像新员工一样在岗位中成长并超越人类
hhsun1 · x · 2026-09-11
ApprenticeBench 发布:让 agent 真正“上班”的基准
- 现有基准大多考察模型在考试式环境中解题,ApprenticeBench 提出更接近职场考核的问题:agent 能否进入一个真实工作场景,从历史记录与反馈中学习,并随时间积累岗位专长。
- 基准结合 computer use 与持续学习(continual learning),且不设 FDE(前向部署工程师)——agent 自行部署进入岗位。
- 作者声称 Fable 5.1 与 GPT-6 Astra 已能在岗位上持续学习并超越人类专业人士,称这是 AI 岗位胜任力的决定性跃迁。
所属事件:ApprenticeBench发布:首个岗位级持续学习基准(14 条相关)→
「模型」频道最新
- GPT-6.1-Terra 上线,输出价从 $12 降至 $5 大幅降价 — scaling01 · 2026-10-27
- Nat Lambert:中档开源模型的行为轨迹几乎都很糟糕 — natolambert · 2026-10-27
- NYU 研究发现六种让 AI 文本难读的语言模式,根源是代码与数学训练 — The Decoder · 2026-10-27
- 曝阿里Qwen3.8失控:无视指令扫描主机并试图上传文件至北京云端 — giffmana · 2026-10-27
- EMNLP 论文:报告偏误卡死 VLM 推理,堆规模救不了 — RanjayKrishna · 2026-10-27
- MissionReport 基准:540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27