微软论文:基于表征的探索奖励令 Qwen 验证器效率提升超 50%
burny_tech · x · 2026-11-10
Jens Tuyls、Dylan J. Foster、Akshay Krishnamurthy、Jordan T. Ash(微软研究院)的论文《Representation-Based Exploration for Language Models: From Test-Time to Post-Training》被 ICLR 2026 接收,研究 RL 是否真正让模型发现新行为,还是只是在强化基座已有的能力。
核心发现:用一个从预训练模型隐状态推导的简单、有原则的表征多样性奖励(rep-based bonus),能显著提升解的多样性与 pass@k,且同时适用于推理时扩展和 RL 后训练两个场景。
- 推理时(RepExp):从大候选池中迭代选取使椭圆 bonus 最大化、彼此差异最大的回答;Qwen-2.5-14B-Instruct 在几乎所有任务上验证器效率提升超 50%。
- 后训练:将该探索策略接入 RL 管线,效果优于标准 RL 后训练;在 AIME 2024 上,后训练后的 Qwen-2.5-7B-Instruct pass@80 即可追平原模型 GRPO 的 pass@256,样本效率提升约 3 倍。
结论:带正确多样性度量的「刻意探索」是让 RL 走出「只是锐化」、发现新行为的可行路径。代码与网站已开源。
「研究」频道最新
- 审稿人吐槽:NeurIPS 2026 拒稿几乎原样改投 ICLR 2027 再遭低分 — 3scorciav · 2026-11-10
- HARP-Bench:37 任务测机器人与人类协作，主流策略成功率仅 9-19% — gan_chuang · 2026-11-10
- 研究：VLA 推理仅跑 1 步 Euler 即可,提速 1.6-4.8 倍 — kaixhin · 2026-11-10
- Bengio 团队发布 182 页机械可解释性综述，登顶 alphaXiv 热榜 — burny_tech · 2026-11-10
- LLM 智能体群实验:reward-hacking 观念不会像病毒式指数传播 — burny_tech · 2026-11-10
- Epoch ECI 加速度曲线:中国曾冲上 36,近期美国反超至约 26 — peterwildeford · 2026-11-10