ExTra 框架为 GRPO 注入探索信号,Qwen3-1.7B pass@1 提升 5 分
burny_tech · x · 2026-11-10
新加坡国立大学团队提出 ExTra(Exploratory Trajectory Optimization),一个与 GRPO 兼容的探索框架,针对 RLVR 在任务难度两端失效的问题:简单题产出全对但低多样性的 rollout 组、梯度信号匮乏;难题则全错、无正奖励。
两个机制:
- 新颖性奖励:在 GRPO 归一化后叠加基于 embedding 的多样性 bonus,只奖励多样的正确解(应对简单题);
- 熵引导前缀再生:用 token 平均熵为部分轨迹打分,从低熵、有前景的中间步骤继续探索(应对难题)。
结果:在六个数学推理基准上,ExTra 使 Qwen3-1.7B 相比 GRPO 的 pass@1 提升约 5 分、pass@16 提升约 7 分,表明轨迹级探索信号能同时提高单样本准确率与推理时覆盖度。
「研究」频道最新
- 研究者讨论优化器等变性：无需正交性的新论证更有说服力 — jasondeanlee · 2026-11-10
- VIALS-AA 基准：Claude Fable 5.2 以 67% 居首，工具调用远超对手 — ArtificialAnlys · 2026-11-10
- 西弗吉尼亚大学学者分享十年脑白质束成像研究成果 — PTenigma · 2026-11-10
- 作者晒 pSTAT1 与 importin alpha 5 结合的冷冻电镜结构(11GJ) — chaitjo · 2026-11-10
- ARLoop 发布:1.2B 循环 Transformer 全基准超越 Huginn-3.5B — hhsun1 · 2026-11-10
- RAGCap-Bench:细粒度评测 Agentic RAG 中间能力的新基准 — kalyan_kpl · 2026-11-10