PlotGround 基准:最强多模态模型读科研图表精度也仅 ±5% 下 87.5%
james_y_zou · x · 2026-10-20
斯坦福 James Zou 团队发布 PlotGround,一条从真实科研图表及其作者源数据自动构建图表数字化基准的流水线,据此造出 PlotGround-1k:来自 1066 篇 bioRxiv 预印本、1119 道人工校验的读图题。
团队评测了 16 个多模态模型:在 ±5% 相对误差容忍下,最好的模型准确率 87.5%;但把容忍收紧到 ±2% 时,所有模型准确率骤降 11-24 个百分点,暴露「大致看懂图」与「精确还原数值」之间的差距。
由于每张图都配了源数据表,基准还能对比同一数值从图读 vs 从表读的准确率差异。论文、数据集均已开源。
「模型」频道最新
- 最强 agent 仅解 33%：具身基准首轮成绩揭示三大短板 — ManlingLi_ · 2026-10-20
- Fable 5.5 再跳票：连爆料 itself 都被打上「补丁」推迟到数周后 — imjustnewatai · 2026-10-20
- DeepSeek-V4.1-Flash 游戏基准列第 6，局内质疑自己活在平行宇宙 — Hesamation · 2026-10-20
- 谄媚基准测试:GPT-4o 无理反驳下94.6%改口，Opus 5.5 仅32.2% — i_dg23 · 2026-10-20
- 爆料称 OpenAI 将复活 Terra 级模型,补上低价高速档位 — haider1 · 2026-10-20
- MiniMax 确认 Space Bunny 为 M3.1 Flash 早期版：$0.15/M 输入，开源权重 10 月 23 日 — lmoroney · 2026-10-20