VerifierBench:222 个任务实测 LLM Agent 生成的验证器有多不可靠
Jianing Yin · hf · 2026-10-23
宾大、UIUC、UC Berkeley、NYU 等机构团队发布 VerifierBench，研究 agent 自我验证的可靠性问题。
- 任务设定：给定解题指令与环境，让 agent 编写可执行验证器，要求接受所有合法解、拒绝非法解；覆盖工具调用、基于状态、代码验证三类，共 222 个任务、4,993 个隐藏测试用例。
- 核心发现：agent 生成的验证器常因隐含假设而错误拒绝本已正确的解，论文据此建议对验证器测试其对多样化正确答案的接受度。
- 意义：验证器同时用于任务完成与合成训练数据过滤，错误验证器会在 RL 中反复奖励违规行为或丢弃正确解，其可靠性直接决定学习效果。
「研究」频道最新
- 科学美国人揭秘 OpenAI 百万美元数学证明背后的故事 — scientificamerican · 2026-10-23
- UCSC 等发布 ALPS 编码器：一套视觉 token 统一状态、语言与像素 — cihangxie · 2026-10-23
- 用 EmbeddingGemma 2 做语音转写：1 小时音频本地 13 秒完成 — GlennCameronjr · 2026-10-23
- 研究者呼吁开源模型训练数据归因：LLM 已被证实记住 Cas9 等序列 — anshulkundaje · 2026-10-23
- Motoniq 让 VLA「反思自己的思考」：Perturbed LIBERO 成功率 92% 远超对手 — hbouammar · 2026-10-23
- Sasha Rush 吐槽「Vibe ML 论文」：先整活再补一章理论分析 — srush_nlp · 2026-10-23