DeclineCraft 基准:迭代式 RAG 反而显著降低模型「知不知道」的诚实率
brunofmr · x · 2026-11-11
arXiv 论文《DeclineCraft》提出一个动态弃答基准,用语料截断后的 Minecraft 新特性构造无法回答的问题,联合衡量检索知识与参数知识的边界,共评测 27 个 LLM。
主要发现:
- 单轮检索在 40 组配置中的 38 组显著提升 Correct Abstention Rate(模型承认不知道的比率)。
- 迭代式 RAG(模型自评上下文、最多再检索两轮)反而在 30/40 组配置中显著降低 CAR(平均 46.4%),而答题准确率几乎不变(68.5%→69.3%)。
- 混合检索加查询改写与重排序可提升所有 12 个受测模型的 CAR。
- 大模型答题更准(与参数量 Spearman ρ=+0.60),但模型规模与发布时间都与 CAR 无显著关联;不开检索时,开启思考模式会降低 CAR——作者猜测长思考链因获得正向奖励,让模型把链长当成了「找到答案」的代理信号,越想越自信。
「研究」频道最新
- Geodesic 发布 NovaAtom-Lite，药物发现基准成绩超 AlphaFold 3 与 IsoDDE — QuanquanGu · 2026-11-11
- MacroHands 双目误差 13.1mm 刷新纪录，遮挡手部检出率 80% 远超基线 — gui_penedo · 2026-11-11
- Niantic Spatial 推出 Gaussian Splat 物体交互,服务具身 AI 训练 — Scobleizer · 2026-11-11
- NVIDIA Nemotron Labs 推出 Dory Looped Transformer 专家问答 — NVIDIAAI · 2026-11-11
- MIT/哈佛造出 83 亿虚拟人 MatrAIx,模拟全人类做市场研究 — alex_verem · 2026-11-11
- SpaghettiSplats 几何与卷积解耦，可直接在基元上模拟物理 — taiyasaki · 2026-11-11