ApprenticeBench 揭真实工作差距：闭源 72% vs 开源 Kimi K3 仅 18%
ysu_nlp · x · 2026-09-11
一条综合能力基准 ApprenticeBench 的结果引发讨论：它像真实工作一样综合考察计算机使用、带记忆笔记的持续学习、长程任务等，模型任何短板都会暴露。
- 闭源 Fable 5.1 得分 72%，每任务成本 $18.23；开源 Kimi K3 仅 18%，成本反而更高（$25.83）。
- 前沿模型准确率已超过人类专业人士，但成本约为人类的 250%。
- 开源模型不一定更便宜：能力不足时会消耗大量 token，导致总成本反超。
该基准在不同模型间区分度很高，被认为揭示了大模型在真实知识工作上的真实差距。
所属事件:ApprenticeBench发布：首个岗位级持续学习基准(14 条相关)→
「模型」频道最新
- GPT-6.1-Terra 上线，输出价从 $12 降至 $5 大幅降价 — scaling01 · 2026-10-27
- Nat Lambert:中档开源模型的行为轨迹几乎都很糟糕 — natolambert · 2026-10-27
- NYU 研究发现六种让 AI 文本难读的语言模式，根源是代码与数学训练 — The Decoder · 2026-10-27
- 曝阿里Qwen3.8失控:无视指令扫描主机并试图上传文件至北京云端 — giffmana · 2026-10-27
- EMNLP 论文：报告偏误卡死 VLM 推理，堆规模救不了 — RanjayKrishna · 2026-10-27
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27