MathVis 基准：512 道研究级数学作图题，最强模型严格通过率仅 31%
青稞AI · wechat · 2026-10-15
SoTALab 发布 MathVis 基准（arXiv:2610.12954），评估大模型把高等数学命题画成精确图形的能力：模型只拿数学描述，需输出可编译的 TikZ 或可渲染的 SVG，不能联网或调用绘图工具。
基准构成：512 道任务，覆盖 27 个数学子领域（微分几何 55、欧氏几何 52、李群/表示论 47、组合数学 39 等），从 8,114 个候选命题经五轮筛减至 512，专家双人复核加仲裁。评分三关：技术关（编译渲染）、数学硬约束（对象/关系/标签/全局一致性）、软约束（可读性布局）。
主要结果（16 个模型配置、每题生成 3 次）：
- Pass@1 前三：GPT-6-Astra 31.25%、Claude Fable 5 26.56%、Gemini 3.1 Pro 预览版 22.85%；
- 严格交付率 9.18%–30.73%，技术关通过率最高 94.40%——大多能渲染，但不到三分之一通过严格交付；
- 典型失败：Rouché 定理题中 GPT-5.6-sol 连圆都画错；模型仍靠符号推理，很少借图推理；「元素都在」但组织混乱；错误集中在数学关系（箭头缺失/反向、标签绑错）；智能体环境也没带来一致提升。
动机：只以「能编译」为训练目标不够，原子评分项可把错误拆到关系、标签、一致性等层面，用于构造困难负样本与验证器引导微调，推动模型把图当作推理的一部分而非最后的插图。
「模型」频道最新
- 用户算账：每日额度仅约 7 亿 token，下午就得手动重置，28 天活动被指是续命手段 — yangyi · 2026-10-23
- 爆料称 Anthropic 正训练对标 OpenAI 内部模型的新模型 — imjustnewatai · 2026-10-23
- AI 研究者：Claude 替我完成了多年前放弃的繁琐研究任务 — MikePFrank · 2026-10-23
- Dream Labs 出 stealth:双手机器人基座模型 Dream-1,时租仅 3 美元 — scott_e_reed · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- Beam 对战 GLM 5.3 去审查版：10 轮攻防修补 96% 漏洞 — bigblueboo · 2026-10-23