ICML 口头报告:86 个生产级 Agent 系统实证调研发布
berkeley_ai · x · 2026-08-22
ICML 2026 口头报告 《Measuring Agents in Production (MAP)》 视频上线。这是首个基于一手数据、对生产环境 LLM Agent 的系统性研究:
- 方法:20 个深度访谈案例 + 覆盖 26 个领域、86 个已部署系统从业者的调查,考察组织为何构建 agent、怎么构建、怎么评测、最大挑战是什么。
- 核心发现:生产 agent 普遍采用简单、可控的方案——68% 的 agent 在人工介入前最多执行 10 步;70% 只靠提示词调用现成模型而非微调权重;74% 主要依赖人工评估。
- 可靠性(长期保持正确行为)是头号开发挑战,从业者目前主要靠系统级设计来应对。
论文由 Melissa Pan、Dawn Song、Ion Stoica、Matei Zaharia 等多位作者合作,为研究界提供了部署现状与待探索方向的可见性。
所属事件:ICML口头报告发布86个生产级Agent系统实证调研(2 条相关)→
「编程与Agent」频道最新
- Claude Code 防失控：10 种指令放置机制详解 — bibryam · 2026-08-22
- DeepMind 新智能体零输入解决数学猜想，自动防幻觉 — thisguyknowsai · 2026-08-22
- Agent 系统后端架构设计：从 API 到防坑实战 — kmeanskaran · 2026-08-22
- 微软推LoopsBench评测长周期Agent，当前最佳仅解25%任务 — 机器之心 · 2026-08-22
- 两篇智能体自改进论文入选 EMNLP：9B 模型改 harness 效果追平 Opus — yuyinzhou_cs · 2026-08-22
- Claude Forge：引入独立审查 Agent 的代码工作流 — Nice_Operation4587 · 2026-08-22