Hyperstition 提出强化学习新 scaling law:judge-time scaling
eliebakouch · x · 2026-11-21
Hyperstition 团队发布 RL 新 scaling law「judge-time scaling」及配套 benchmark「Hyper-Intervention」,开源在 GitHub(MIT 协议)。
- 核心做法:让一个"编辑裁判"模型逐 token 审读学生模型的 rollout,决定训练数据取舍,实现 token 级干预的 credit assignment。
- 关键数据:裁判只消耗不到 1% 的 rollout tokens(每 3 小时 session 处理约 2.9 万–30.2 万学生 tokens),却拿到 Instruct 变体 64% 的验证提升;最佳裁判把 Qwen2.5-7B base 拉到其 Instruct 版本 64% 的水平,且生成的 on-policy 数据优于现有高分 rollout 的 Pareto 前沿。
- 结论:模型现在的 credit assignment 能力已超过 SOTA RL 算法,且样本效率高得多。
- scaling law 含义:当前 RL 更多被数据而非算力瓶颈限制;给裁判更多算力/时间可以缓解数据瓶颈。
- 配图展示了多个模型作裁判在 180 分钟 session 内对 Qwen2.5-7B 的测试增益曲线(Fable 5.2、Opus 5.5、Gemini 4 Neon 等各裁判对比)。
「模型」频道最新
- Waddle-1 机器人智能体发布:零样本操控双臂机器人,评测 81 分超 GPT-6.2 Astra — ycombinator · 2026-11-21
- DeepMind 疑曝光 math-horizon 仓库,网友猜想将攻克千禧年难题 — jasondeanlee · 2026-11-21
- alphaXiv 发布首个自动研究开源基准,8 模型耗 7400 美元跑分 — togethercompute · 2026-11-21
- 26.4B 小模型 128 天追平 975B 巨兽,算力效率提升约 17 倍 — teortaxesTex · 2026-11-21
- 让 6.2 Astra 用代码画法国旅途风景,考验视觉推理细节功力 — prd_008 · 2026-11-21
- Downdetector 报告 OpenAI 下午 3:13 起大规模故障 — VoidStateKate · 2026-11-21