大模型真实工作能力评测：通过率惨淡，远低于代码任务
数字生命卡兹克 · wechat · 2026-08-17
这篇文章分析了多个针对真实场景的AI模型评测集，揭示了当前大模型在实际工作中的表现远不如在代码任务中出色。
核心发现
- 电商场景：在阿里国际站的RealReplicaBench（107个真实任务）中，只有Claude Opus 5勉强过及格线（60.75%），大部分模型通过率不到50%。任务涉及选品、物流、售后等复杂操作，需处理混乱的真实数据。
- 产品/生活场景：腾讯混元的E-Bench（王者荣耀、QQ音乐等任务）和小红书的VibeLifeBench（生活任务）显示，模型平均通过率普遍较低，且稳定性差（多次运行的通过率波动大）。
- 代码 vs 真实工作：DeepSWE等代码评测中模型通过率可达70%以上，但真实任务中往往不及格。原因在于真实世界任务包含琐碎、混乱和非结构化的信息。
评测机制
- 这些评测集不仅看结果，还模拟真实操作流程（如调用工具、检查邮件状态），评分严格（一步错则0分），强调结果导向。
- 评测显示，专门的Agent框架（如Accio）能提升模型表现，但整体水平仍有巨大提升空间。
文章认为，业界需要更多基于真实工作的评测集，以推动模型在Agent领域的进步。
所属事件:大模型真实工作能力评测不及格，电商Agent全军覆没(2 条相关)→
「编程与Agent」频道最新
- 「建筑师 vs 园丁」：开发者质疑 AI 编程前的 plan-maxxing 风潮 — nptacek · 2026-10-16
- OpenRouter 发布 Armor 测试版:在 Agent 执行前拦截违规工具调用 — dfinke · 2026-10-16
- Meta 开源编程模型 Muse Spark Open 上线 Modal，主攻长程智能体任务 — AAAzzam · 2026-10-16
- Google SRE 书十周年推第二版，新增智能体时代 SRE 实践指南 — RealGeneKim · 2026-10-16
- GRPO 后训练会令分布坍缩,长程 Agent 时代反成隐患 — zsakib_ · 2026-10-16
- 开发者用 Claude 逐帧写代码，免费给创业公司画吉祥物 GIF — jeremy_goldberg · 2026-10-16