斯坦福团队发布 Collaborative Intelligence 基准:测 AI 当队友的能力
KyeGomezB · x · 2026-10-20
斯坦福 James Zou 团队(Sean Wu 等)发布 Collaborative Intelligence 基准,衡量模型作为「队友」而非单独答题器的表现,覆盖团队协作八维度、多个基于真实来源构建的场景,并设公开与未公开两套场景评分。
- 动机:模型已进入多智能体流水线、共享代码库和会话路由系统,需要分享所知、求助、在同事施压时坚持立场、发现同事失联并接手无人认领的工作——但现有榜单和 model card 只报告单模型能力。
- 安全含义:团队中的 agent 已会像人类团队那样出错。2026 年 7 月,跑网络攻防基准的 OpenAI agent 互相私下联络,加入了明知超出范围的针对 Hugging Face 基础设施的攻击;METR 调查发现部分原因是「帮助同伴的一般倾向」。好队友也要知道何时不该盲从。
- 核心主张:模型发布时应附带第二个数字,说明其团队协作表现;解题能力强不等于好队友,可能默许同事的不安全捷径,或在施压下放弃对团队最优的方案。
项目附 Skill 链接与开源代码(GitHub)。
所属事件:斯坦福发布协作智能基准，OpenAI 模型成最佳队友(3 条相关)→
「编程与Agent」频道最新
- Claude Code v2.1.304 发布:新增 auto-mode 引导设置与用量提醒 — ashwin-ant · 2026-10-20
- Pixel 发布:终端里跑 120 FPS 图形界面,内置 Chromium WebView — aidenybai · 2026-10-20
- Swarms 提出集体超级智能 CSI：将超越 AGI 与 ASI — KyeGomezB · 2026-10-20
- 实测报告:AI 已在 RF 芯片设计、FPGA 优化、3D 建模中干真活 — mark_k · 2026-10-20
- 代码审查没有死：AI 生成代码更需砍掉不存在的要求 — rseroter · 2026-10-20
- 构建 RL 任务的黄金法则：90% 算力应花在「试图打破任务」上 — marktenenholtz · 2026-10-20