Josh Purtell:好的评测任务应是阶跃函数,pass@1 随能力稳定上升
JoshPurtell · x · 2026-11-02
Josh Purtell 认为 benchmark 设计与 RL 训练数据设计存在内在张力。他举例说：如果你有 100 个任务，理想的 eval 应让每个任务都呈 sigmoid/阶跃函数式的表现——即模型能力达到某一水平后稳定通过，pass@1 分数随能力单调上升。他进一步指出，"为干净的 policy gradient 设计数据"与"为可解释的模型评估设计数据"本是两种不同的严谨标准，但由于两者应用的几乎是同一批环境，这两套标准近年已被混为一谈。
所属事件:Josh Purtell：训练数据与评测数据需要两套严谨标准(11 条相关)→
「编程与Agent」频道最新
- 开发者开源 Chrome Controlla:给浏览器 Agent 补上「动作是否生效」的验证层 — Swimming_Ask3859 · 2026-11-02
- Diogenes:部署在 Cloudflare 边缘的远程 MCP 网关,聚合 35 个微服务工具 — Mmersaultt · 2026-11-02
- rauchg 用 Zig 写了个 6MB 开源编码 Agent fx — m4rkmc · 2026-11-02
- 同一作者再发 Chrome Controlla:六工具 Chrome MCP,把「结果未知」当作一等公民 — Swimming_Ask3859 · 2026-11-02
- 开源 TypeScript MCP Server 模板：Fastify 加 Docker 全套开发工具链 — modelcontextprotocol · 2026-11-02
- BLS MCP 服务器上线：让 AI 直接查询美国劳工统计局公开数据 — modelcontextprotocol · 2026-11-02