ARBITER:35B MoE 验证器让 GPT-OSS-120B 冲过 IOI 金牌线

Zheye Deng · hf · 2026-10-15

用可验证反馈做智能体代码判题:HKUST 与亚马逊发布 ARBITER

问题:竞赛评测系统只给对错判定,不暴露失败原因或反例;而 test-time scaling 需要能诊断候选解错误的验证器。

做法

• 构建 USACO-JUDGE 基准,取自 USACO 2026 竞赛,包含人类专家和多个 LLM 写的通过与未通过程序
• 任务设定:模型仅凭题面和源码判断并诊断候选程序,用生成的反例作为可检验证据
• 训练 ARBITER:35B MoE 智能体验证器,在通用执行沙箱中用强化学习训练

结果

• 错误程序上的反例构造成功率从 40.61% 提到 62.67%
• USACO-JUDGE 二元判定准确率从 71.41% 提到 87.41%,接近前沿验证水平
• 在代码选择与修复上都优于基线;IOI 2026 案例中,ARBITER 引导的修复让 GPT-OSS-120B 在官方提交次数限制下的期望分数超过金牌线

原文链接 →

「研究」频道最新

• 论文揭示创意榜单测的是什么:15 基准指向长尾表现 — shangbinfeng · 2026-10-15
• 用 Brainfuck 复现人工生命论文:随机程序自发演化出自我复制者 — spikedoanz · 2026-10-15
• 分类器扫遍 42000 篇 ICLR 2027 投稿：过半论文疑似全程 AI 辅助 — nsaphra · 2026-10-15
• 第四届 LLM4Code 研讨会征稿:落脚 ICSE 2027 都柏林,截稿 2026 年 11 月 — LingmingZhang · 2026-10-15
• ELSA3D 入选 NeurIPS：单一骨干网同时生成 3D 资产并做语言描述 — CSProfKGD · 2026-10-15
• 权重挪动 1.3% 表征大变，HNC 方法挑战柏拉图表征假说 — neuroecology · 2026-10-15

更多「研究」频道 AI 资讯 →