前沿模型 council 研究：错也一起错
soumitrashukla9 · x · 2026-07-14
作者和合作者用同样的初始基准，重新跑了前沿模型实验，包括 GPT 5.5、Gemini 3.1 Pro、Claude Opus 4.8、Grok 4.5，并构建了“错误相关性”指标，衡量两个模型同时答错的概率。
他们发现：
- 没有任何 council 结构 能在任何 benchmark 上超过它最强的成员
- 模型之间几乎不怎么分歧；在全部 329 道题里，没有出现“只有一个模型答对”的情况
- 当它们答错时，往往是一起答错
作者认为，这支持了“consensus machines”的观点：模型因为共享训练数据、蒸馏目标和 RLHF 习惯，容易收敛到同样的错误结论。文中还提到，在 MMLU-Pro Math 上，6 组厂商配对都呈现出类似现象。
「研究」频道最新
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱 — yoavartzi · 2026-10-26
- EMNLP 主题演讲背后：用语言模型「模拟学习者」生成儿童语言习得新假设 — najoungkim · 2026-10-26
- EMNLP 2026 主题演讲背后的论文：用 bigram 模拟语言习得 — najoungkim · 2026-10-26
- 把 DeepLIFT 重写为独立计算图：输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26