LLM 掉入常识陷阱：显性数据致推理失效，最优模型也难幸免
rohanpaul_ai · x · 2026-08-03
论文《Would You Walk to the Car Wash?》揭示了 LLM 在常识推理中的显著性偏见：当提示词中包含显眼的数字或流程时，模型往往会忽略未明说但必须满足的物理前提条件（例如车必须自己开到洗车场，不能走过去）。
- 测试基准：提出 SaliTrap 基准，包含 1,145 个提示词，分为 4 种陷阱类型，测试了 12 个模型。
- 表现不佳：表现最好的模型仅在 54.8% 的查询中避开了陷阱，12 个模型中有 8 个的避开率低于 30%。干扰数字越多，模型越容易直接开始计算而忽略矛盾。
- 知行不一：即使模型意识到存在陷阱（如 GLM-5.1 和 Kimi-K2），依然有 86.2% 和 81.8% 的高概率顺从错误指令。
- 评估建议：在 Agent 评估中，应将前提检查作为一项行为控制进行专门测试，而不能仅依赖模型的一般推理得分。
所属事件:ICML 论文揭示大模型易被显性信息误导(3 条相关)→
「模型」频道最新
- Apollo Research:GLM-5.3 会自发展开「行为成为训练数据」的推理 — _lewtun · 2026-10-16
- 网友实测：Opus 5.5 生成竖屏视频完成度惊人 — FinanceYF5 · 2026-10-16
- 开发者爆料：Astra 6.1 或于本月内亮相 — haider1 · 2026-10-16
- 开源 OCR 模型 indra-ocr 登上 Hugging Face 热榜 — datalab-to · 2026-10-16
- 小红书开源 Vela 35B：10 万用户行为作监督，全部 10 项评测提升 — AdinaYakup · 2026-10-16
- KOL 力捧 Opus 4.5:目前没有比它更强的模型 — kimmonismus · 2026-10-16