8 个模型跑同一媒介采购任务:2 个全过,2 个 0/12
ML_Felix · reddit · 2026-10-12
公开基准 Concourse Bench v1 让 8 个 AI agent 各自执行 12 次模拟媒介采购任务:根据 brief 与预算,和三个由固定规则驱动的虚拟卖家谈判,并提交符合条件的投放组合。测试统一使用买家 harness 校验动作、记录成交,测的是「模型+harness」而非裸模型。
关键结果:
- 2 个模型 12/12 全部完成;1 个完成 10/12;2 个完成 9/12,另一个仅 3/12;2 个模型 0/12
- 总计 96 次尝试中 55 次完成;5 次因技术中断无法评估
- 共 4 种情境(标准、更紧预算、更宽库存、更强硬卖家),每模型各 3 次
目前没有人类基线,数据仅作记录不构成定论。发帖人自曝任职于发布该基准的公司,并抛出讨论:同样的任务为何模型间差距如此悬殊——指令遵循、工具调用可靠性还是长程规划?
「编程与Agent」频道最新
- 开源 deepseek-harness 引爆:全插件化编码 agent 框架,数天狂揽 16 万星 — nikola_mr64990 · 2026-10-12
- 开发者用 Codex 重构个人网站，CAD 场景做视觉主角 — rachittshah · 2026-10-12
- FeedHive 开源 120+ 条「AI 味」写作模式清单，附免费检测工具 — tibo_maker · 2026-10-12
- MetaKernelBench:跨DSL技能迁移提升GPU核优化最高29% — encodelab · 2026-10-12
- 实测 Hermes Agent 清理混乱代码库:行数减 27%,自报 40% 有水分 — techlatest_net · 2026-10-12
- 开发者用 Grok 搭交易 Bot,持续运行但尚未盈利 — nima_owji · 2026-10-12