新论文称 scaffold 只解释了 1.5% 的智能体性能差异
gerardsans · x · 2026-07-21
这条线程把两篇论文放在一起，质疑“agent 外壳”到底贡献了多少能力。
- MORPHEUS（NeurIPS 2026）被引用为结论：scaffold 只解释了 1.5% 的性能差异，而基础 next-token 模型本身解释了 41.4%，大约高出 28 倍。
- 作者据此认为，多智能体协作、CoT 包装、各种 orchestration 层，大多只是围绕同一组冻结权重改变提示词，并没有带来真正的适应能力。
- 回复里又引用 CORRAL（arXiv:2604.18805）：在 8 个科学领域、2.5 万+ 条 agent trajectory 里，68% 完全忽略证据，71% 从不更新信念，只有 26% 出现了基于反驳的修正。
- 合起来的结论是：很多“agentic”表现可能只是 scaffold 和叙事制造出的幻觉，而不是模型真的在推理或代理行动。
「漫话AGI」频道最新
- 读懂AI意识之争:先分清对方站在哪种立场 — msharmas · 2026-10-27
- 功能主义视角：意识只是大脑的计算，硅片复现同样功能即得同样结果 — msharmas · 2026-10-27
- iPhone 新壳狂揽 8.5 万条评价：丰饶时代的万物皆假 — tekbog · 2026-10-27
- AI 能否有意识取决于你如何定义：理解意识的五种理论框架 — msharmas · 2026-10-27
- dunkhippo33 开聊:AI 时代该如何养育孩子 — kimmonismus · 2026-10-27
- AI 教育者：电工科班训练教我的系统瓶颈思维不会过时 — dunkhippo33 · 2026-10-27