CritPt v1 大量数据无效，饱和前仍是好评测
JoshPurtell · x · 2026-11-02
Josh Purtell 补充其关于评测与训练数据冲突的论点：以 CritPt v1 为例，该基准中很大一部分数据直接无效，但在有效子集被刷饱和之前，它仍是一个相当不错的评测集。他强调，若把这类数据直接用于 RL 训练，reward hack 等问题会严重破坏训练效果——进一步说明“评测可用”与“训练可用”是两回事。
结合其前文观点：优化压力对训练数据的要求远高于评测数据，小剂量 reward hack 不影响评测效力，却能毁掉 RL 训练。
所属事件:前评测开发者系统阐述训练数据与评测数据不能混用(17 条相关)→
「研究」频道最新
- Sebastian Raschka 免费放出 11 小时推理模型从零构建视频课 — AxSaucedo · 2026-11-02
- 微软与伯克利开源 TokenEconomizer，让编码 Agent 省 18-31% Token 成本 — victor_explore · 2026-11-02
- TLA-Verus:用 LLM 智能体自动证明 TLA+ 规约的时序性质 — tianyin_xu · 2026-11-02
- 有人指出 J-Lens 本质只是一阶泰勒展开,质疑官方博客为何不提 — burny_tech · 2026-11-02
- Mollick:ARC-AGI 等大基准已饱和,SemiAnalysis 专家级评测路子对了 — emollick · 2026-11-02
- 数据备份失败后重建:真核生物蛋白域分析流水线开源 — AryHHAry · 2026-11-02