斯坦福发布协作智能基准:最强模型当队友只得 82.2 分
StanfordUniversity · hf · 2026-11-03
斯坦福联合 MIT、牛津发布 Collaborative Intelligence Benchmark,衡量 AI Agent 作为「队友」的表现:240 个任务覆盖 8 个团队合作维度,从拒绝不安全捷径到检查弱模型留下的错误。任务来自真实记录或既有基准(航空事故报告、临床病例、编码任务、谈判等),结果可程序化验证。为把团队协作与个人能力分离,模型只在其独立可解的任务上计分。评测 18 个闭源与开源权重模型发现:所有模型作为队友都有明显短板,最佳仅得 82.2/100;前沿模型几乎总能拒绝不安全捷径并上报不当行为,却在人际压力下妥协、谈不成最优整体方案——协作能力与个体能力显著脱钩。
「编程与Agent」频道最新
- 清华实证研究:编码 agent 跨任务持续自演化会严重灾难性遗忘,旧数据集性能骤降 — Shangziqi Zhao · 2026-11-03
- 开源 Vantage:一句话让 AI 操控真实桌面,80 步任务约 8 分钟跑完 — AKGAMING1234 · 2026-11-03
- 推理优化 Agent 的奖励劫持风险:文章警示自动化调优暗坑 — AccBalanced · 2026-11-03
- DataTalks.Club 实操工作坊:CPU 跑 Agent,GPU 只按需调用生成工具 — Al_Grigor · 2026-11-03
- Factory 重构 Droid 编码 agent:跑进客户自有云,BYOC+BYOK 并计划开源计算层 — AI Engineer · 2026-11-03
- paseo v0.15 beta:daemon 崩溃不杀终端,中断 agent 可自动恢复 — intellectronica · 2026-11-03