谷歌 VeriHarness 把 LLM 变成验证器,长任务验证提分 6+,开源 2.6 万条 rollout
google · hf · 2026-10-05
LLM 智能体执行长程任务时,验证输出越来越难。谷歌研究提出 VeriHarness:在不依赖参考答案或评分规则的前提下,把生成器用的底层 LLM 改造成带工作区、证据工具和可复用验证技能的 agentic 验证器。
关键发现与方法:
- 分歧往往暴露正确替代方案,而共识可能掩盖错误——由此设计「分歧解决器」对照环境证据检验竞争性声明,「共识挑战者」主动测试共同声明并搜索遗漏需求。
- 在 5 个长程工作区基准、2 个前沿模型上取得最高选择分数;基于证据的修订使相对单次 rollout 平均提升 6.2 分(Gemini 3.5 Flash)和 6.4 分(Claude Opus 4.8)。
- 验证技能可从失败反馈中自我改进。
- 开源全部约 26,000 条 rollout(成本超 10 万美元),支持后续 agentic 验证研究。
所属事件:谷歌 VeriHarness:AI 分歧反而更可能指向正确答案(3 条相关)→
「编程与Agent」频道最新
- Anthropic 开放 Claude 前置部署工程师学习路径,约 9.5 小时学完 — leslysandra · 2026-11-20
- Google 开源 Sashiko:Gemini 驱动的 Linux 内核代码审查 Agent — rseroter · 2026-11-20
- boxd 新增 8 家集成:Dify、n8n、LangChain 等接入其机器 — JensHonack · 2026-11-20
- OpenAI 发布 GPT-Live 提示词指南:多语言与地区口音调法 — pbbakkum · 2026-11-20
- Rippling 推出 AI 应用生成:员工用自然语言就能搭内部工具 — andreisavu · 2026-11-20
- Gemini 推 Live Interactions API,Genie 4 原生支持 WebRTC — _philschmid · 2026-11-20