LLM 推理链分析用于可解释 Q-matrix 构建,arXiv 论文发布

alex_verem · x · 2026-11-21

这是前述研究 thread 的出处帖,链接到 arXiv 论文《Reasoning-Trace Analysis Using Large Language Models for Interpretable Q-Matrix Construction》(arXiv:2611.26422,作者 Jihong Zhang、Zijing Jin、Mingfeng Xue)。

论文提出 RTA(Reasoning-Trace Analysis)框架:让 LLM 通过 CoT 生成带属性标签的推理步骤,再分析这些步骤以重建、比对和审查 Q-matrix 的每个条目-属性 assignments,作为专家审核与实证验证的补充。仿真与实证研究均显示 CoT 生成的 Q-matrix 与参考矩阵平均重叠度 0.809,低于直接生成(0.877),且跨重复实验波动更大;通过检查推理轨迹可将分歧归因到题型编码、标注规则与操作步骤的表达方式上。

所属事件:研究发现让 LLM 逐步推理反而降低标注准确度(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →