Salesforce 发布 EvoHarnessBench:考验 Agent 应对工具与环境持续演进
Salesforce · hf · 2026-09-10
Salesforce 在 Hugging Face 发布 EvoHarnessBench,这是一个评估 LLM agent 在工具、技能和 agent harness(运行框架)持续演进条件下表现的基准。研究发现 agent 普遍存在三类持续存在的短板:对旧工具/技能的保留(retention)不足、对新 harness 的适应(adaptation)困难,以及「harness 引发的遗忘」——即运行框架的变化本身会导致 agent 已有能力退化。该基准直接指向 agent 工程里一个此前少有系统评测的问题:真实生产环境中 harness 并非静态,工具与框架会不断升级。
「编程与Agent」频道最新
- Ben Bajarin:用前沿 AI 对抗前沿攻击,智能体成企业网防新前线 — BenBajarin · 2026-10-26
- 开发者吐槽:脱离 harness 的 API 模型「裸奔」时笨得让人想哭 — madeofAjala · 2026-10-26
- HarnessMM 论文:缓存已定决策,Agent Token 消耗降 88% 成功率反升 — omarsar0 · 2026-10-26
- KOL 判断:CLI 已不是操作 AI Agent 的最佳界面 — omarsar0 · 2026-10-26
- 微软展示用 Copilot App 与 Foundry 搭建跨 Teams/Outlook 的意图识别 Agent — marlene_zw · 2026-10-26
- 求推荐可穿戴录音麦克风:要长续航,接自己转写和 MCP — altryne · 2026-10-26