Beam 跑 ProgramBench 实测:单 agent 比五 agent 协作更强

ben_burtenshaw · x · 2026-10-16

Hugging Face 的 benburtenshaw 用 Reflection 的 Beam-501B-A23B + Pi 编码 agent 在 ProgramBench（从二进制重建程序、无源码）上做了三种编排的对比演示：单 agent、5 个共享 git 仓库的对等 agent、主 agent + 子 agent，三者 token 预算相同。

从配图的成绩-延迟曲线看：单 agent（约 1M 上下文 token）最终隐藏测试通过率约 0.43，略高于五 agent 团队与异步子 agent（约 0.30-0.38），但多 agent 方案在部分任务上更早达到可用分数。作者注明这是 4 个任务的子集、无置信区间、每 episode 8M API-token 上限。