Snorkel 用二值门控 GRPO 训练 Qwen,GDPval 成绩从 31.9% 升至 40.7%
ajratner · x · 2026-11-21
Snorkel AI 发文介绍其在专业级 agent 训练上的新结果:用 1105 个专家构建的 GDPval+ 任务训练 Qwen3.8-27B,约 102K 次训练 rollout 后,模型在 OpenAI GDPval 金标集上的 pass@1 从 31.9% 提升到 40.7%。
关键点:
- GDPval 任务源自美国经济九个行业的资深专业人士,每题要求产出真实交付物(财务模型、监管文件、幻灯片等),单次尝试平均约 5 万 token 并含大量工具调用,通过标准是满足 rubric 至少 90% 的条目。
- 对比专家参考交付物的 LLM 评审一对一比较中,模型交付物在 44.0% 的对局中胜过人类专家(基座模型为 36.4%)。
- 核心方法是 binary-gated GRPO:同样的数据和 rollout 量,标准 GRPO 用二值奖励信号几乎原地不动;差异在于新算法能从失败中学习。
结论:专家级训练数据 + 从失败中学习的算法二者结合,是在成功率极低的专业任务上训练 agent 的关键。
「研究」频道最新
- a16z 研究员:AI 能解千年数学题给 Lean 证明,却给不出人类能懂的解释 — a16z · 2026-11-21
- AACR 将办肿瘤学数据科学与 AI 大会,2027 年 3 月旧金山举行 — jnkath · 2026-11-21
- 黎曼猜想证明疑似以博客加8个zip发布,无署名作者 — eigenhector · 2026-11-21
- NeurIPS 论文首实现:仅凭 disk bispectrum 系数重建完整图像 — ninamiolane · 2026-11-21
- Impetus Grants 呼吁慈善资金补齐 AI 治病所需的生理数据 — shae_mcl · 2026-11-21
- Artificial Analysis 发布 Search API 基准:横评 26 款搜索工具 — ArtificialAnlys · 2026-11-21