Reasoning-Trace Analysis Using Large Language Models for Interpretable Q-Matrix Construction
Jihong Zhang, Zijing Jin, Mingfeng Xue
cs.AI
2026-11-20
让 LLM 用 CoT 解题并给每步标注技能,从推理链重建 Q-matrix:对齐率 .809 低于直接生成,但每格判定可回溯审查。
认知诊断模型(DCM)把考生划分成离散的技能掌握组合,比如「会约分但不会借位」。支撑它的是 Q-matrix:一张标注每道题考察哪些技能的 0/1 矩阵,传统靠专家逐题判定,费时且主观。近两年有工作让 LLM 直接生成 Q-matrix,整体能逼近专家版本,但评估都停在最终矩阵的重叠率和拟合度上。单个格子为什么标 1,是模型判断这道题需要借位,还是背出了这张 1990 年就公开的矩阵,无从分辨。对讲效度证据的教育测量,不可审查的判定是合规硬伤。
RTA(Reasoning-Trace Analysis)让 LLM 解题时把每步「干了什么」「用了哪个技能」一起输出,矩阵从标签重建,判定依据落在纸面上。
思路借自 RFFT(训练模型逐步执行显式规则的方法),但只用于推理期、不动权重。基线是 direct workflow:同样的属性标签,一次性生成整张 11×4 矩阵,不给过程。
模拟研究先验证 trace 里有没有信息。10 个扰动题都需要全部四个属性,DeepSeek v4 Flash、Claude Haiku 4.5、Kimi K2.6 全对、属性全部恢复;GPT-4o mini 只答对一半,却在 8/10 的题上恢复出完整属性向量。6 个故意去掉某属性的变体题,四个模型都按住了不该标的属性,共识重叠 .958–1.000,「全标 1」的基线只有 .625。标签不是瞎贴的。
实证研究用 11 道分数减法题、536 名考生作答、20 个条件 × 100 次重复,共 2000 张生成矩阵:
| 指标 | CoT workflow | Direct workflow |
| 与参考矩阵平均重叠 | .809 | .877 |
| 整题四属性全中 | .364 | .564 |
| 不稳定格子比例 U | .409 | .248 |
| 主导矩阵占比 D | .044 | .540 |
可解释有代价:对齐更低、更不稳,温度 0 也压不住,DeepSeek 在 temp 0 的不稳定格子比例仍有 .591。四个 CoT 条件的分歧高度不对称,29 处遗漏对 3 处多标,共识矩阵全部比参考稀疏。
拟合给出第二视角:DeepSeek 的 CoT 矩阵重叠只有 .818,DINA 的 −2LL 5044.9 却略优于参考矩阵的 5045.8;GPT-4o mini 的 direct 矩阵重叠 .795,拟合差了 347 个点。13 张不同矩阵上,重叠与拟合的秩相关只有 −.49(p = .09),两个指标互不担保。参考矩阵自己也不干净,PVAF 和 Hull 两种经验方法标出它 3 个格子该从 1 改 0,而 LLM 最常偏离的两格恰好在列。G-DINA 下 64% 的考生拿到与参考一致的画像。2000 张生成矩阵、20 张共识矩阵,连同参考本身,没有一张满足 DINA 的结构可识别性条件。
卖点是可审查,精度反而更低。direct 的对齐还可能来自背了公开题库,作者用同构换数题补测后对齐基本保持,暂时排除纯背诵。在教育测量的 responsible AI 要求下,能指认到具体推理步的错,比不可查的对更有用。
两条结论能迁移到测评之外。答案对不等于标签对:GPT-4o mini 一半题算错、属性照旧恢复,三个准确率近满分的模型矩阵照样大变。和参考一致也不构成效度:经验校验方法与 LLM 在同样的格子上分歧。
作者列了六条,分量最重的三条:结论全部来自单一分数减法题集,4 个属性、11 题,离真实题库很远;四个模型里三个是轻量版;两条 workflow 调用结构不同(11 次逐题对 1 次整表),稳定性差距可能部分来自这里。trace 只是生成文本,不等于模型内部计算,标签也没经过独立人工编码。
还有两处没归因:对齐率掉的 .068,多少来自重建规则把操作折叠进相邻标签,多少是模型真没识别到属性,补充实验只分开一部分;温度 0 下不稳定率仍达 .591,论文没解释。