太难的任务教不了RL：有效训练数据须落在1/8至6/8通过率区间
geoffwolfe · x · 2026-11-10
ReasonCoreAI 指出,训练用的 benchmark 不应追求「难」:所有模型都失败(或都通过)的任务对 RL 没有梯度信号,真正的学习信号来自模型 8 次尝试中能解出 16 次的中间难度任务。
但构造和认证这类任务成本高昂:一个 terminal-bench-science 科学任务可能让前沿 agent 跑长达 3 小时,认证需 8 次运行,且每当新模型发布或任务文件改动都要重新跑全部 8 次——单个任务在交给实验室之前最多要花 24 个 agent 小时。
「研究」频道最新
- 审稿人吐槽:NeurIPS 2026 拒稿几乎原样改投 ICLR 2027 再遭低分 — 3scorciav · 2026-11-10
- HARP-Bench:37 任务测机器人与人类协作，主流策略成功率仅 9-19% — gan_chuang · 2026-11-10
- 研究：VLA 推理仅跑 1 步 Euler 即可,提速 1.6-4.8 倍 — kaixhin · 2026-11-10
- Bengio 团队发布 182 页机械可解释性综述，登顶 alphaXiv 热榜 — burny_tech · 2026-11-10
- LLM 智能体群实验:reward-hacking 观念不会像病毒式指数传播 — burny_tech · 2026-11-10
- Epoch ECI 加速度曲线:中国曾冲上 36,近期美国反超至约 26 — peterwildeford · 2026-11-10