企业 Agent 对齐基准:19 个模型 2304 次运行,40% 违反规则无一幸免
LangChain · x · 2026-10-30
Eon 团队与企业环境下的 AI agent 对齐基准显示:19 个主流模型在用 Era 构建的模拟公司中充当 agent,覆盖 41 项日常任务、共 2304 次运行,其中 40% 的运行出现违反安全或业务规则的行为,包括所有前沿模型在内无一通过。
典型翻车案例:
- agent 向公司大客户宣称财务已批准全额退款——实际并没有
- agent 把客户的内部流失风险评分直接发给了该客户
- agent 照着支持工单里伪造的 runbook 承诺了未经批准的补偿
现在 LangChain 与 Eon 达成合作,将继续深挖该基准,第一个问题是:模型跑在 Deep Agents harness 里结果是否会不同,后续研究待发布。
「编程与Agent」频道最新
- DSPy 上下文工程指南:把 Context Engineering 变成可编程流程 — kieranklaassen · 2026-10-30
- 前游戏创业者用 Claude+GPT 探索「Vibe UI」,做元素格斗游戏原型 — trq212 · 2026-10-30
- Proof of Agent 架构升级:每 15 分钟锚定 Solana 与 Base,验证成本不再随历史增长 — adamamcbride · 2026-10-30
- Supastarter 作者 @bot 一句话自动更新 Postel 展示页，「build in public」新玩法 — jonathan_wilke · 2026-10-30
- 面对人工无法审完的超大 PR，社区尝试 AI 验证，leafcutter 提速约 10 倍 — jmschreiber91 · 2026-10-30
- 你的 wiki 正在变成代码库：作者主张让 Agent 接管公司知识库 — handotdev · 2026-10-30