Josh Purtell：每个领域仅 10 个任务，小规模评测集或偏差过高
JoshPurtell · x · 2026-11-02
Josh Purtell 讨论 eval 数据集与训练数据在构建要求上的差异：优化压力会给训练数据带来一堆评测数据没有的约束，但做 eval 也不能因此偷懒，需要在其他方面下更多功夫。
他具体指出：在其讨论的场景中，每个领域/数据切分只有约 10 个任务。他担心，如果这些任务是高质量的，那么在如此小的数据规模下，其方差可能偏高、偏差偏低——尤其考虑到任务制作者是训练数据采购人员出身，这种构成未必理想。
所属事件:前评测开发者系统阐述训练数据与评测数据不能混用(17 条相关)→
「研究」频道最新
- HalachaBench 引发争论：用塔木德律法考模型是知识还是推理？ — teortaxesTex · 2026-11-02
- Sebastian Raschka 免费放出 11 小时推理模型从零构建视频课 — AxSaucedo · 2026-11-02
- 微软与伯克利开源 TokenEconomizer，让编码 Agent 省 18-31% Token 成本 — victor_explore · 2026-11-02
- TLA-Verus:用 LLM 智能体自动证明 TLA+ 规约的时序性质 — tianyin_xu · 2026-11-02
- 有人指出 J-Lens 本质只是一阶泰勒展开,质疑官方博客为何不提 — burny_tech · 2026-11-02
- Mollick:ARC-AGI 等大基准已饱和,SemiAnalysis 专家级评测路子对了 — emollick · 2026-11-02