Plotly 与 Mila 发布 DataAnalyticsBench：43 题实测 28 款模型
Mila_Quebec · x · 2026-10-17
Plotly 与 Mila 研究者合作发布 DataAnalyticsBench，专测 AI 数据分析能力，避开已被刷爆的 SWE 类基准和 Iris/Titanic 式烂大街数据集。
设计：43 道题的「考试」，AI agent 在 2000 万行、44 表、554 列的数据仓库上作答，含陷阱题、脏数据和超大 schema，用 Plotly Studio Embedded harness 运行，已测 28 个模型。
关键结果（截至 10 月 15 日）：
- GPT-6 Astra 首个满分通过；三周后 GPT-6.1 Sol 也满分且成本仅其 10%；GPT-6 Luna 以再低 5% 的成本拿 B+
- Claude Haiku 5.5（10 月 7 日发布）37/43、$0.38/次，速度居前；Claude Opus 5.5 与 Meta Muse Wonder（10 月 12 日）均 41/43；Gemini 4 Argon（10 月 13 日）41/43
- 开源侧：Meta Muse Spark Open 得 38/43；NVIDIA Nemotron 3.5 Super VL 30/43 但成为最快模型
Sol 与 Luna 目前占据闭源模型的成本-准确率前沿。
「模型」频道最新
- Grok Bots 已上线 Grok 网页与移动端，填补 OpenAI Dots 空白区 — testingcatalog · 2026-10-17
- Meta 新条款被指将获权抓取全网内容训练 AI,引行业炮轰 — VeryWellVersed · 2026-10-17
- 用户抱怨 Codex 远程连接不再显示用量统计，只剩编辑按钮 — No-Butterscotch-218 · 2026-10-17
- 开发者不解:非技术用户为何偏爱 ChatGPT 而非 Claude — prasenx · 2026-10-17
- ChatGPT 近期体验劣化：输入乱码、内嵌图片失效、频繁超时 — ChristianKl · 2026-10-17
- 权重魔改易伤生成类评测，MMLU 却基本无恙 — aryaman2020 · 2026-10-17