EMNLP 2026 论文：两阶段诊断法检验 LLM 推理图的结构可靠性
rohanpaul_ai · x · 2026-10-22
论文《Diagnostic Analysis for Large Language Model Reasoning》（arXiv:2610.27245，已录用 EMNLP 2026 主会）提出两阶段诊断评估，检验推理链/推理图在开放式多跳问答中的结构可靠性。
- 阶段一：拆解建图所需的不同能力（分解问题、连接依赖、生成子答案、证据接地），发现图的可靠性与拓扑、prompt 设计和模型家族相关；
- 阶段二：以不确定性估计为下游用例。生成边实验表明基于图的计算对上游图错误敏感，性能低于金标图设置；
- 金标图实验表明：图仅作 prompt 上下文收益甚微，但能提升置信度对正确/错误答案的区分度，并支持节点级诊断。
作者提醒：错误依赖会改变概率分解、错误节点答案会污染下游推理、缺失证据会让图看起来有据实则没有——很多工作只评下游输出，不评建图过程本身。
所属事件:Meta 与密州大论文指 LLM 推理图质量参差并污染置信度(2 条相关)→
「研究」频道最新
- OPAL:AI 智能体在训练中实时改写优化器源代码 — lmoroney · 2026-10-22
- Meta 与密州大论文：LLM 推理图质量参差，错误会污染置信度分数 — rohanpaul_ai · 2026-10-22
- 新论文：一价拍卖能否在去中心化市场中高效分配 AI agent 查询 — _onionesque · 2026-10-22
- 人大 LoopRec:按条目自适应递归深度,序列推荐兼顾效率与精度 — Zhanshuo Cao · 2026-10-22
- Anthropic Agent4Sci 测评:前沿智能体提升科研模型靠工程技巧而非领域洞见 — Anthropic · 2026-10-22
- NUS 提出统一框架 PAPAV:细数计算机操作与机器人操作的五项核心能力 — showlab · 2026-10-22