UIUC 论文：高分不等于会推理，LLM 换个表述就丢失推理规则
UIUC-CS · hf · 2026-10-21
UIUC 的论文提出基于「能力」（competence-based）的 LLM 逻辑推理评测方法，指出传统 benchmark 的局限。
- 现有 benchmark 只报告选定任务上的准确率，无法说明模型的泛化推理能力，且可能奖励其他策略：有研究发现在提示中要求 GPT-3.5 避免逻辑推理反而提升 ReClor 和 LogiQA2 成绩。
- 在受控扰动下，表面推理良好的模型出现系统性下降，推理模型甚至可能崩塌。
- 基于能力的评测显示：LLM 尽管在有界任务上准确率很高，却无法在不同问题表述间一致地应用推理规则。
「研究」频道最新
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- SFT 阶段配方公开:指令/推理/代码/数学混训,不做多 epoch — TimDarcet · 2026-10-21
- 训练中期阶段揭秘:扩到 131k 上下文,「不要 logit,只要 token」 — TimDarcet · 2026-10-21
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI 制药真实现状：不是一句话治癌，而是海量结合筛选加毒性过滤 — burny_tech · 2026-10-21
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21