新基准 Company Agent Bench 发布：对比 Dots、Grok Bot、Claude Tag、Devin
philhchen · x · 2026-11-13
philhchen 团队发布 Company Agent Bench，一个评测「公司助手类产品」的基准，衡量 agent 对自己所在公司的理解程度。评测对象包括 Dots、Grok Bot、Claude Tag 和 Devin。
关键发现：
- 产品在「归属与专长」类问题上得分 73–91%，但在「个人兴趣与倾向」类问题上只有 42–54%，理解人的优先级、判断力和工作关系仍是能力短板；
- 带简单 harness 的 API 模型表现反而好于这些成型的产品。
完整报告见原帖链接。
所属事件:Company Agent Bench发布：理解人是企业Agent最大缺口(4 条相关)→
「编程与Agent」频道最新
- TLAPS 验证 LLM 推理引擎:52 万义务安全证明仅增 0.18% 延迟 — tianyin_xu · 2026-11-13
- 1Password 推出 for Agents：让 AI 智能体安全使用你的账号 — dean_rie · 2026-11-13
- Compound Engineering 3.38 发布：新命令回溯会话自动修 agent 工作流 — kieranklaassen · 2026-11-13
- Merge 用 Claude 接通 Salesforce 与 Slack,15 步超额审查缩到 3-4 步 — shensi · 2026-11-13
- 经济学家晚宴激辩多智能体蜂群:模型越聪明,蜂群还有没有必要? — JessicaHullman · 2026-11-13
- Meta 首席 AI 官 Alexandr Wang:Muse 可替你打电话了 — alexandr_wang · 2026-11-13