Meta 新基准 GAMUT 专测长答案遗漏，最好模型仅 58.7%
rohanpaul_ai · x · 2026-07-24
Meta 提出 GAMUT：把“漏答了什么”也纳入事实性评估
这篇 Meta 新论文的核心观点是：事实性不只是“别说错”，还要“把该说的说全”。长答案里真正难测的，往往不是错误，而是遗漏。
- GAMUT 用的是一个两层 meta-rubric 评估框架。
- 第一层先把答案应包含的内容结构化：必需事实、可接受选项、步骤顺序、关系以及重要性。
- 第二层再把这些结构转成可由 LLM judge 评分的机器可判定规则。
- 基准包含 1,813 个问题，来源于 10 个领域 的真实可穿戴图像场景。
- 在 14 个前沿与开源模型上，最高分也只有 58.7%；而导致失败的主要原因不是胡说，而是信息缺失。
- 论文还表示该框架是模态无关的，并提供了 text-only 版本。
「研究」频道最新
- Hugging Face 发布 114TB 开源代码数据集 The Stack v3 — Nunki08 · 2026-07-24
- Bifrost 号称 30 分钟把现场视频重建成仿真 3D 世界 — jnack · 2026-07-24
- 15小时机器人视频训练出零样本世界模型 — jbhuang0604 · 2026-07-24
- 新训练子网把竞争重点从权重改成了数据 — const_reborn · 2026-07-24
- Cohere Labs 发起 48 小时模型挑战，考验语言学习与推理 — Cohere_Labs · 2026-07-24
- SupraLabs 发布 500 万条推理语料，专为小模型微调 — LH-Tech_AI · 2026-07-24