Chartography 图表理解榜:Claude Sonnet 5.5 以 0.902 登顶
NielsRogge · x · 2026-10-17
Hugging Face 员工 Niels Rogge 分享了 Papers with Code 自动发现 trending benchmark 的用法,指出图像理解领域当前最热门的基准是 Surge AI 出品的 Chartography——100 道由专家撰写的专业图表理解题,以 pass@1 计分,使用 Gemini 3.5 Flash 作评分器。
榜单要点:
- Claude Sonnet 5.5(带工具、max effort)以 0.902 排第一,Claude Opus 5.5(0.89)、Claude Fable 5.1(0.884)、Claude Haiku 5.5(0.862)紧随其后,前五被 Anthropic 模型包揽;
- DeepSeek-V4.1-Flash-1017(带工具)以 0.83 排第六,是榜上最强的非 Anthropic 模型,另一版本得 0.789;
- 反差数据:上一代 Claude Haiku 4.5 仅 0.088,与新一代差距悬殊。
作者表示 Anthropic 和 DeepSeek 都在为新模型报告该基准成绩,这类自动浮出的 trending 榜单是发现新评测的好渠道。
「模型」频道最新
- 本地跑 Qwen3.8-Flash-Next:换全量 FP8 n-gram 表质量明显提升 — sillynoobhorse · 2026-10-17
- 16 万引用审计:DeepSeek/豆包展示的链接近 40% 根本没被用过 — Sanbi_Ai · 2026-10-17
- 爬遍全网训练出的 Claude,却拒绝帮你翻译网页 — lxfater · 2026-10-17
- Common Sense Media 评 ChatGPT 青少年版为「不可接受风险」,8 州起诉 OpenAI — jurgo123 · 2026-10-17
- 单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分 — MaziyarPanahi · 2026-10-17
- GLM-5.3-Flash FP4 本地工具评测得 91 分,速度成短板 — HankYeomans · 2026-10-17