研究:让 LLM 一步步推理反而更差,Q-matrix 匹配度从 87.7% 降至 80.9%

alex_verem · x · 2026-11-21

阿肯色大学、匹兹堡大学与北卡 Greensboro 分校的研究者让 4 个 LLM 为 11 道分数减法题标注所考察的数学技能(即心理测量中的 Q-matrix),每种设置重复 100 次、共构建 2000 份技能图谱,并与专家图谱及 536 名学生的真实作答对比。

关键发现:

作者建议多次运行模型取汇总结果,并保留人类专家审核。对应论文为 arXiv:2611.26422(RTA 框架)。

所属事件:研究发现让 LLM 逐步推理反而降低标注准确度(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →