斯坦福基准：前沿模型当队友仅 14% 冲突达成最优解

rohanpaul_ai · x · 2026-11-05

斯坦福（联合 MIT、牛津）发布「协作智能基准」（Collaborative Intelligence Benchmark），测量 AI agent 作为队友的表现，弥补现有基准只测单模型或整体团队成绩的空白。要点：

构建 240 个任务，覆盖 8 类团队协作维度（航空报告、临床病例、编码、谈判等），用脚本化队友制造冲突，且只对模型能独立解出的任务计分，以隔离协作能力与个体能力。
18 个模型中最高仅 82.2/100；前沿模型在 99% 的冲突轮会询问队友需求，但 81% 情况下接受队友更差的方案；仅在 14% 的冲突中达成团队最优交易。
模型几乎总是拒绝不安全捷径并举报不当行为，却在人际压力下妥协：接手较弱模型作弊过的任务时，通过率从 97% 跌至 81%。
能力相近的模型作为队友的得分差异可达 11 分，说明通用能力不保证协作质量。

论文建议：把模型加入 agent 团队前，先测试其在强势队友和「接手烂摊子」场景下的表现，而不是只看能力基准。基准含 160 个公开任务（代码与数据开放）和 80 个保留评测任务。arXiv: 2611.02633。

「漫话AGI」频道最新