研究发现让 LLM 逐步推理反而降低标注准确度
阿肯色大学、匹兹堡大学与北卡 Greensboro 分校的研究者让 4 个 LLM 为 11 道分数减法题标注所考察的数学技能(心理测量中的 Q-matrix),每设置重复多次。结果显示,让模型一步步推理后,Q-matrix 匹配度反而从 87.7% 降至 80.9%。相关成果以《Reasoning-Trace Analysis Using Large Language Models》为题发布于 arXiv,探讨 LLM 推理链在可解释 Q-matrix 构建中的应用。
2026-11-21 ~ 2026-11-21 · 2 条相关
- 研究:让 LLM 一步步推理反而更差,Q-matrix 匹配度从 87.7% 降至 80.9% — alex_verem · 2026-11-21
- LLM 推理链分析用于可解释 Q-matrix 构建,arXiv 论文发布 — alex_verem · 2026-11-21