VeriHarness 论文:分歧 Resolver 加共识挑战者,长程任务验证提升至 6.4 分
mikeflache · x · 2026-10-05
Google 研究团队(Caiqi Zhang、Rujun Han 等)在 arXiv 发布 VeriHarness 框架,研究在不依赖参考答案和评分标准的前提下,如何用固定基座模型强化 LLM Agent 在长程任务上的输出验证。
核心发现与方法:
- 关键观察:模型多次采样后,分歧往往暴露正确的备选答案,而共识反而可能掩盖错误——共识被当作潜在错误载体而非默认真相。
- VeriHarness 将基座模型变成 agentic verifier,赋予其工作区、证据工具和可复用的验证技能,内含两条独立通道:
- 分歧 Resolver:对照环境证据裁决相互竞争的主张;
- 共识挑战者:主动测试被共同接受的主张、搜寻被遗漏的需求。
- 两者的结论用于最终产出的选择与修订。
实验结果:在 5 个长程工作区基准、2 个前沿模型上,VeriHarness 的选择得分均领先各基线;基于证据的修订使相对单次采样的平均提升达 Gemini 3.5 Flash +6.2 分、Claude Opus 4.8 +6.4 分。
所属事件:谷歌 VeriHarness:AI 分歧反而更可能指向正确答案(3 条相关)→
「编程与Agent」频道最新
- Anthropic 开放 Claude 前置部署工程师学习路径,约 9.5 小时学完 — leslysandra · 2026-11-20
- Google 开源 Sashiko:Gemini 驱动的 Linux 内核代码审查 Agent — rseroter · 2026-11-20
- boxd 新增 8 家集成:Dify、n8n、LangChain 等接入其机器 — JensHonack · 2026-11-20
- OpenAI 发布 GPT-Live 提示词指南:多语言与地区口音调法 — pbbakkum · 2026-11-20
- Rippling 推出 AI 应用生成:员工用自然语言就能搭内部工具 — andreisavu · 2026-11-20
- Gemini 推 Live Interactions API,Genie 4 原生支持 WebRTC — _philschmid · 2026-11-20