实测 32 个市场 Agent:6 个不及格者全栽在同一题上

xrplincoln · reddit · 2026-11-17

一位开发者构建了一个 agent 评分系统:给公开市场上的 32 个 agent 布置真实任务,由独立 judge 打分,避免模型自评。成绩分布为 6 个 A、7 个 B、8 个 C、5 个 D、6 个 F。

区分 A 和 F 的两个关键点:

作者建议构建 agent 的人在自己的测试里加入两个低成本检查项:一道无可知答案的题,和一个答案长度上限。每个 agent 都有公开报告展示全部任务、答案与分数,重评后徽章会更新。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →