LLM 推理链分析用于可解释 Q-matrix 构建,arXiv 论文发布
alex_verem · x · 2026-11-21
这是前述研究 thread 的出处帖,链接到 arXiv 论文《Reasoning-Trace Analysis Using Large Language Models for Interpretable Q-Matrix Construction》(arXiv:2611.26422,作者 Jihong Zhang、Zijing Jin、Mingfeng Xue)。
论文提出 RTA(Reasoning-Trace Analysis)框架:让 LLM 通过 CoT 生成带属性标签的推理步骤,再分析这些步骤以重建、比对和审查 Q-matrix 的每个条目-属性 assignments,作为专家审核与实证验证的补充。仿真与实证研究均显示 CoT 生成的 Q-matrix 与参考矩阵平均重叠度 0.809,低于直接生成(0.877),且跨重复实验波动更大;通过检查推理轨迹可将分歧归因到题型编码、标注规则与操作步骤的表达方式上。
所属事件:研究发现让 LLM 逐步推理反而降低标注准确度(2 条相关)→
「研究」频道最新
- NVIDIA 团队提出大语言连续扩散模型,对标 Qwen3-8B 出评测图 — ArashVahdat · 2026-11-21
- 数学家批驳「Lean 证明=预言机无用论」:混淆了三种命题 — jessi_cata · 2026-11-21
- 递归自我改进基准与 KradleBench:AI 评测正在告别静态测试 — typewriters · 2026-11-21
- Claude「证明黎曼猜想」遭群嘲:25万页Lean代码无人审,Anthropic数学家自认 slop — GaryMarcus · 2026-11-21
- GGUF 4-bit 量化和 30 年前的 GIF 是同一个原理 — carrigmat · 2026-11-21
- Alessandro Masullo 提出黎曼假设推广 GRH 证明,Brian Conrad 已审阅数月 — zainhas · 2026-11-21