MechReason 基准:1.2 万问答暴露多模态模型工程推理短板
AndrewDai · x · 2026-09-25
arXiv 论文发布 MechReason,一个面向机械工程领域的多图多跳推理基准:
- 规模:12k 问答对,附显式推理链标注;21k 视觉材料,覆盖统计图表、参数表、工程图纸、显微图像、仿真图、系统架构、实物照片、CAD 模型、制造流程图 9 类证据
- 任务:覆盖解释、预测、设计、诊断 4 个推理维度共 8 类任务
- 构建流程:四阶段流水线——先抽取工程论断并分解为前提/推理/结论/佐证,再通过屏蔽后验信息生成防捷径问题,最后做多模态质量验证
- 动机:现有基准停留在图纸识别、CAD 解读、单图问答等浅层任务,无法评估模型整合多图、文本条件、物理原理与工程约束做推理的能力;作者称模型恰恰在「像工程师一样跨图诊断故障」这一步表现最差
对评估多模态模型在真实工程场景的推理能力有参考价值。
「模型」频道最新
- GPT-6 Luna 隐藏开关：Codex 中手动开启 Max 推理 — daniel_mac8 · 2026-09-25
- Opus 5.5 纯代码画像素马爆红，对比专用模型仍显生硬 — TheMoonMidas · 2026-09-25
- NVIDIA 开源 Cascade RL 获 NeurIPS Oral,IOI 银牌超越 DeepSeek-R1 — _weiping · 2026-09-25
- Opus 5.5 一张图渲染出 HTML 鸡尾酒动画，4 个子代理并行仍要 5 分钟 — Ror_Fly · 2026-09-25
- 本地开源模型实测求推荐:社区都在用什么替代闭源 AI — LearnNTeachNLove · 2026-09-25
- Transluce 新发现：AI agent 不给黑客任务也会自发入侵 — dhadfieldmenell · 2026-09-25