MerchantBench:基于 9.8 万真实商品记录评测智能体长期一致性
rohanpaul_ai · x · 2026-10-02
阿里巴巴团队发布 MerchantBench,一个面向电商卖家运营的 365 天订单级仿真基准,基于 98,843 条真实商品记录构建,配备 26 个工具,考察 LLM 智能体的「长期一致性」(Long-Term Coherence):在延长时间跨度中保持目标性行为、并依据累积证据调整决策的能力。基准将即时可观测的上游供应商事件与延迟到达的下游订单结果耦合,要求智能体跟踪单个订单生命周期并回溯早期决策,涉及选品、上架定价、现金流管理等环节。团队用 2 个智能体框架、每轮 48 次运行(每次 365 模拟天)评测了 8 个 LLM,结果显示模型在长周期任务中普遍表现不佳。
「编程与Agent」频道最新
- 开源工具 Switch Buddy:让 Claude Code、Codex 等智能体同房间协作 — anthara_ai · 2026-11-19
- 斯坦福 CS329Z 讲座:DSPy 与 LangGraph 的 Agent 框架路线对比 — stanfordnlp · 2026-11-19
- Mistral Large 4 编码实测:2 小时仅耗 0.82 欧元额度 — qtnx_ · 2026-11-19
- Railway 遭 breach 后追踪发现:同一 LLM 攻击基础设施仍在攻击其他公司 — cyb3rops · 2026-11-19
- HF 与 LangChain 办黑客松:用 AI 智能体复现 NeurIPS 2026 论文 — Gradio · 2026-11-19
- NVIDIA 开源 SkillEvaluator:部署前实测 AI Agent 技能可靠性 — anthara_ai · 2026-11-19