ListQA 基准：34 个模型列表式事实检索最强仍不到 37% F1
_reachsumit · x · 2026-10-15
新基准 ListQA（arXiv 2610.19165）评测 LLM 从参数中回忆多条事实并组织成结构化列表的能力。
- 由 9,045 道人工策划、交叉验证的问题组成（错误率仅 1.7%），要求模型返回 3–10 个元素的结构化列表，从扁平列表到带子属性的层级列表，覆盖 8 大类、60+ 国家。
- 采用「常青」设计：题目带明确时间约束或基于不可变史实，无需定期更新真值。
- 评测方法将元素匹配建模为线性指派问题，结合 LLM 语义评分，共同衡量事实准确性、幻觉与格式合规。
- 对 34 个模型（8 个家族、42 种配置）的评测显示：标准推理下最好的模型 LLM-Judge-F1 也不到 37%；多方面问题全面更难；提供来源 Wikipedia 页面后分数大幅提升——说明模型能组织事实，但难以从参数中检索出来。
「研究」频道最新
- Xaira 发布 X-Scientist:AI 找药靶点比人工快 10 倍 — saurabh_shah2 · 2026-10-23
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23