RealReplicaBench：电商Agent评测全军覆没，最高分仅56.1
APPSO · wechat · 2026-08-17
APPSO报道了阿里AccioWork团队推出的RealReplicaBench，一个针对电商场景的AI Agent评测基准。在107个真实商业任务中，所有参评模型均未及格，最高分Claude Opus 5仅56.1分。该基准强调任务完成度，要求结果可被下一环节直接使用，通过复刻真实环境并验证最终状态来评分。团队计划持续更新任务，用于模型评测与优化。
所属事件:大模型真实工作能力评测不及格，电商Agent全军覆没(2 条相关)→
「研究」频道最新
- UCSD团队提出数据集水印法，仅凭API输出即可检测训练数据盗用 — yuxiangw_cs · 2026-10-16
- EmbodiedEvo 让 Agent 传承经验：登顶 RoboDojo 榜单 — Aiden_Tech_Ai · 2026-10-16
- 审稿人吐槽 CHI 论文 Discussion 普遍不引用文献 — IanArawjo · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16
- Agentic Search 只奖励最终答案，推理步骤是否忠实成疑 — burkov · 2026-10-16