ApprenticeBench:闭源与开源模型差距拉大到 77% vs 22%
ysu_nlp · x · 2026-11-19
ApprenticeBench(测试 agent 能否通过持续学习端到端胜任一整个知识型岗位)更新榜单,结果凸显闭源与开源模型的巨大鸿沟:
- 最好闭源模型在得分和成本上双双超过人类测试员:Gemini 4 Argon 拿下 66%(每任务 $6.03),人类测试员 51%(每任务 $7.21)
- Anthropic、OpenAI、Google、Meta 四家实验室的前沿模型超过人类基线,且全部是闭源模型
- 闭源 vs 开源差距达 77% vs 22%,为有代表性的经济价值型知识工作上的最大差距;最佳开源权重模型落后 55 分,无一具备这种"在职学习"能力
ysunlp 评论:agent 要接手独立知识工作,光有静态 harness 不够——每家公司、每个岗位的工作流、惯例、软件系统、异常处理都不同,agent 必须能在岗学习并特化;而这一能力鸿沟还在扩大,开源模型面临需要突破的能力墙。
「漫话AGI」频道最新
- Gary Marcus 转发 AI 泡沫连锁反应警告 — GaryMarcus · 2026-11-19
- 「多记事实、少谈理论」:为什么真正的高手都在背具体数字 — panickssery · 2026-11-19
- Dario 称开源模型路径危险,批评者讽其只想保控制权 — adamamcbride · 2026-11-19
- 台式合成设备迭代速度翻三倍,半数厂商在中国 — JacquesThibs · 2026-11-19
- iamtrask:AI 时代「莫扎特」仍会存在,人类永远为人际表演付溢价 — iamtrask · 2026-11-19
- 研究者吐槽:当前环境不奖励真正的科学进步 — gerardsans · 2026-11-19