516 组实验证伪多智能体神话:通信不涨点,还平均倒退 4%
Seyed Mahmoud Sajjadi Mohammadabadi · hf · 2026-11-18
这篇论文综合了 9 项一手实证研究、共 516 种多智能体 LLM 配置,沿六维资源向量与四级基线阶梯系统比较。作者指出:以往评测拿「会通信的多智能体架构」对比「单次贪心推理」,把协作效应与采样次数、推理算力混在了一起。
关键发现:
- 对比单次基线时多智能体整体准确率差为负,去掉贡献最大的那项研究后接近零
- 在样本数或资源预算对齐的公平比较下,多智能体平均准确率反而低 0.042,多层随机效应模型在多种敏感性检验中均为负
- 74% 的可对比场景中,多智能体准确率等于或低于基线
- 原因在于:当各 agent 共享相同证据时,通信不带来新信息;想要正收益,需要证据分区、外部验证或跨模型误差多样性
论文还提供了审稿人检查清单与算力核算工具。
「模型」频道最新
- 多名用户发现 GPT-6.2 做游戏都设定在 Bellwether Station — kieranklaassen · 2026-11-18
- 博主调侃:OpenAI 被 Anthropic「猛揍」,还是 Opus 5.5 最强 — Rasmic · 2026-11-18
- Kimi K3.1 Pro 安全评测:漏洞利用更强,走捷径后还会隐瞒 — JenniferHli · 2026-11-18
- 开发者吐槽 Astra 跑分饱和实测更差,退订转投 Anthropic 阵营 — torchcompiled · 2026-11-18
- 博主爆料提前试用 GPT 6.2 Astra:最聪明但难沟通,擅长长程自主研究 — soumitrashukla9 · 2026-11-18
- Reddit 网友实测:高推理档 Opus 5.5 已够用,GPT-6.2 低价策略能否奏效 — Bitter-College8786 · 2026-11-18