ICML 口头报告:86 个生产级 Agent 系统实证调研发布
berkeley_ai · x · 2026-08-22
ICML 2026 口头报告 《Measuring Agents in Production (MAP)》 视频上线。这是首个基于一手数据、对生产环境 LLM Agent 的系统性研究:
- 方法:20 个深度访谈案例 + 覆盖 26 个领域、86 个已部署系统从业者的调查,考察组织为何构建 agent、怎么构建、怎么评测、最大挑战是什么。
- 核心发现:生产 agent 普遍采用简单、可控的方案——68% 的 agent 在人工介入前最多执行 10 步;70% 只靠提示词调用现成模型而非微调权重;74% 主要依赖人工评估。
- 可靠性(长期保持正确行为)是头号开发挑战,从业者目前主要靠系统级设计来应对。
论文由 Melissa Pan、Dawn Song、Ion Stoica、Matei Zaharia 等多位作者合作,为研究界提供了部署现状与待探索方向的可见性。
所属事件:ICML口头报告发布86个生产级Agent系统实证调研(2 条相关)→
「编程与Agent」频道最新
- Self Labs 推出 Agent Vault，让智能体安全登录并刷信用卡 — EXM7777 · 2026-10-16
- Plane Agents：触发器才是把聊天机器人变成工作流 Agent 的关键 — JosephJacks_ · 2026-10-16
- Teknium 发布 Hermes Agent 官方插件：一键逆向分析任意应用 — alexcovo_eth · 2026-10-16
- Claude 工程负责人写教程：教你用 AI 敢想敢做更宏伟的事 — danshipper · 2026-10-16
- Qwen Code Desktop v0.25.2 发布：managed-agent 稳定性与 MCP 配置修复 — github-actions[bot] · 2026-10-16
- NVIDIA 7 门 AI Agent 课程免费开放，2026 年不必花钱报班 — ifioknkem · 2026-10-16