训练与评测目标冲突:任务设计应要 pass@k 平滑上升而非阶跃
JoshPurtell · x · 2026-11-02
Josh Purtell 讨论评测任务设计在训练与评测两个场景下的矛盾:
- 评测视角:100 个任务中,理想情况是每个任务的通过率随模型能力呈 sigmoid/阶跃函数,使 pass@1 成绩能随能力提升稳定增长,便于定位能力等级。
- 训练视角:结论相反——训练数据恰恰不需要阶跃型任务,而应选择 pass@k 随能力增长平稳上升的任务;阶跃函数虽可行,但会让课程学习(curriculum)的难度排序变得非常困难。
核心观点:同一个任务集很难同时服务好评测和训练两个目标。
所属事件:Josh Purtell：训练数据与评测数据需要两套严谨标准(13 条相关)→
「编程与Agent」频道最新
- 评测任务无法按难度排序?拆成多个 eval 是更优解 — JoshPurtell · 2026-11-02
- 评测设计者反思:好 eval 应只需少量任务即可判断模型水平 — JoshPurtell · 2026-11-02
- 知识编译论文:导航树剪 91% 查询 token,BM25+M3 已达 85% 准确率 — _reachsumit · 2026-11-02
- 新论文:用元认知可靠性奖励教会 LLM 只在必要时才检索 — _reachsumit · 2026-11-02
- 10 个开源 AI 渗透测试仓库：先让 AI 黑你的应用再补洞 — victor_explore · 2026-11-02
- 开发者开源 Chrome Controlla:给浏览器 Agent 补上「动作是否生效」的验证层 — Swimming_Ask3859 · 2026-11-02