Salesforce 发布 CRM-Agent-Bench:用合同式判分评测企业环境中的 Agent
salesforceaicloud · hf · 2026-10-28
Salesforce 在 Hugging Face 发布 CRM-Agent-Bench，一个面向可部署语言 Agent 的执行级（execution-grounded）评测基准，聚焦多轮企业业务任务。
核心设计：
- 每个任务配一份「任务合同」，声明目标与成功条件，覆盖结果、轨迹、可行性、合规四个维度，所有声明检查必须全部通过才算 PASS。
- 环境包含真实 API 与可变的业务后端状态，工具会读取并修改一个每次重置的后端；由模拟用户与完整图路由 Agent 多轮对话。
- 配图给出转账示例：Agent 先因余额不足正确拒绝 1000 美元转账，用户改口 50 美元后再验证并执行，终态数据库状态与合同匹配、被拒绝的转账从未执行。
这是把 agent eval 从「答对没有」推向「企业可否安全部署」的合同式判分思路。
「编程与Agent」频道最新
- dotey 长文反驳「多 Loop 浪费注意力」:每人终将转型管理一群 Agent 的 Manager — dotey · 2026-10-28
- Ghostty 1.4.0 发布:172 位贡献者 2889 次提交,首个完整实现 Kitty 动画的第三方终端 — jedisct1 · 2026-10-28
- Stripe 推出面向 AI Agent 的稳定币支付基础设施 Link balance — jeff_weinstein · 2026-10-28
- ReGE 论文：把 agent 执行经验合成指导，无需更强教师即可自我提升 — TIGER-Lab · 2026-10-28
- Polars 2.1 发布：group-by 支持落盘，90 余项性能改进 — calabi_and_yau · 2026-10-28
- 实测 5 模型操作 Salesforce:静默失败骗过所有 agent — TruthDeep8659 · 2026-10-28