前沿模型 council 研究：错也一起错
soumitrashukla9 · x · 2026-07-14
作者和合作者用同样的初始基准，重新跑了前沿模型实验，包括 **GPT 5.5、Gemini 3.1 Pro、Claude Opus 4.8、Grok 4.5**，并构建了“**错误相关性**”指标，衡量两个模型同时答错的概率。 他们发现： - **没有任何 council 结构** 能在任何 benchmark 上超过它最强的成员 - 模型之间几乎不怎么分歧；在全部 **329** 道题里，没有出现“只有一个模型答对”的情况 - 当它们答错时，往往是**一起答错** 作者认为，这支持了“consensus machines”的观点：模型因为共享训练数据、蒸馏目标和 RLHF 习惯，容易收敛到同样的错误结论。文中还提到，在 **MMLU-Pro Math** 上，6 组厂商配对都呈现出类似现象。