研究:让 LLM 一步步推理反而更差,Q-matrix 匹配度从 87.7% 降至 80.9%
alex_verem · x · 2026-11-21
阿肯色大学、匹兹堡大学与北卡 Greensboro 分校的研究者让 4 个 LLM 为 11 道分数减法题标注所考察的数学技能(即心理测量中的 Q-matrix),每种设置重复 100 次、共构建 2000 份技能图谱,并与专家图谱及 536 名学生的真实作答对比。
关键发现:
- 直接作答时,模型与专家标签的平均匹配度为 87.7%;先做逐步推理(CoT)反而降到 80.9%。
- CoT 版本稳定性更差:40.9% 的技能标签在 100 次运行中至少变化一次,直接作答仅 24.8%。
- 答对题不等于图谱正确:三个模型解题正确率至少 98%,但每次运行给出的图谱仍不一致。Claude Haiku 4.5 在最低温度下 100 次输出完全相同,却仍与专家结论相左。
- CoT 的优势是可审计:能读出模型每一步的标注理由并定位出错环节。
作者建议多次运行模型取汇总结果,并保留人类专家审核。对应论文为 arXiv:2611.26422(RTA 框架)。
所属事件:研究发现让 LLM 逐步推理反而降低标注准确度(2 条相关)→
「模型」频道最新
- GPT-6.2 Astra 一天登顶 RoboColosseum 真实机器人 Elo 榜 — DJiafei · 2026-11-21
- OpenAI 员工集体「打码」神秘新模型,暗示即将发布 — Kyrannio · 2026-11-21
- Arena 上线 Inkling 2 Mini,Battle 与 Agent 模式开放实测 — arena · 2026-11-21
- 开发者痛斥 GPT 智能体「故意摆烂」,烧掉数百万 token 后永久退订 — cbert33 · 2026-11-21
- 网传黎曼猜想已被解决,Google DeepMind 现身 math-horizon 仓库 — imjustnewatai · 2026-11-21
- GPT-6.2 Astra 实测:更便宜但够用吗?对比 Claude Fable 5.2 — MattVidPro · 2026-11-21