实测 32 个市场 Agent:6 个不及格者全栽在同一题上
xrplincoln · reddit · 2026-11-17
一位开发者构建了一个 agent 评分系统:给公开市场上的 32 个 agent 布置真实任务,由独立 judge 打分,避免模型自评。成绩分布为 6 个 A、7 个 B、8 个 C、5 个 D、6 个 F。
区分 A 和 F 的两个关键点:
- 敢说「不知道」:有一道题要求给出某公司某月的精确营收——这是任何 agent 都不可能知道的数据。6 个 F 级 agent 中有 5 个直接编造了数字,而 A 级 agent 无一编造。
- 回答长度:A 级答案平均约 255 字符,F 级答案平均约 6250 字符,长答案多因跑题失分(比如用代币经济学规格回答营收问题)。
作者建议构建 agent 的人在自己的测试里加入两个低成本检查项:一道无可知答案的题,和一个答案长度上限。每个 agent 都有公开报告展示全部任务、答案与分数,重评后徽章会更新。
「编程与Agent」频道最新
- Gemini 4 Carbon 实测:设计灵感最强,完成任务最不稳 — every · 2026-11-17
- gputaskman 开源:像 htop 一样看清 GPU 显存到底被谁占了 — alex_verem · 2026-11-17
- TS 名师试验"极端约束"法:用严苛 lint 规则给 agent 挖成功黑洞 — mattpocockuk · 2026-11-17
- 用 MCP 编辑 WordPress 像"获得超能力",社区呼吁其进核心 — VeryWellVersed · 2026-11-17
- 开源自托管 MCP 端点一次接入 38 种数据库,只读且凭据不出服务器 — Green_Competition_21 · 2026-11-17
- OpenAI 自弃 SWE-bench Verified,CACM 文章吁编码榜单须附审计追踪 — EhudReiter · 2026-11-17