评测设计者反思:好 eval 应只需少量任务即可判断模型水平
JoshPurtell · x · 2026-11-02
Josh Purtell 提出 eval 设计的核心问题:新模型发布后,需要跑多少任务才能判断其好坏?他给出两条思路:一是若领域只涉及少数原子技能,可按任务敏感的阈值排序,用二分方式快速定位模型能力;二是当领域覆盖多种任务、难以按难度排序时,宁可拆成多个 eval。他还抱怨行业用训练数据样本充当 eval——虽然防刷榜,但代价是把本应由评测开发者解决的问题转嫁了回来,牺牲了很多东西。
所属事件:前评测开发者系统阐述训练数据与评测数据不能混用(17 条相关)→
「编程与Agent」频道最新
- 衡量 Agent 试点:该数的是打断次数和错过的关键决策 — krishnan · 2026-11-02
- Agent 像带娃:果汁盒和流血手指一样大声求救 — krishnan · 2026-11-02
- Reddit 热帖:Agent 任务状态别只有成败,该给「deferred」独立状态 — Key-Register-1969 · 2026-11-02
- Reddit 网友整理普通电脑可跑的小型模型清单，面向 agent 用途 — transanethole · 2026-11-02
- 做营收团队 Agent 的复盘:上下文比模型选择重要得多 — hossam_elkhateeb11 · 2026-11-02
- 「你得想大点，快 1% 不够，要快 10 倍」成 AI 圈经典吐槽 — DanielLockyer · 2026-11-02