MathArena 曝 Fireworks 推理出错,DeepSeek-V4.1-Flash 重测提升但仍逊 Kimi K3.1 Pro
teortaxesTex · x · 2026-10-27
MathArena 收录 DeepSeek-V4.1-Flash(10/17 版),团队负责人 Jasper Dekoninck 披露:首轮评测中新版反而略差于前代,调查后确认是推理供应商 Fireworks 出了问题;改用 Together 重跑后成绩明显更可靠,但在 Together 也出现 21 条 trace 同时报 tool call 格式错误的怪异情况。结论:推理供应商目前还不够可靠,发布评测前务必核查。
- 重测后的 V4.1-Flash 较前代(0910)确有提升但幅度不大,未超过 Kimi K3.1 Pro,不过价格便宜 3 倍
- 配图榜单(ArXivMath):GPT-6.1 Sol (max) 91.51% 居首,Gemini 4 Argon 87.74%、Claude-Opus-5.5 (high) 82.08%;Kimi K3.1 Pro 64.15%,DeepSeek-V4.1-Flash-1017 (Max) 49.06%(成本仅 $1.29,token 用量高达 67.6 万)
- teortaxesTex 评论「对 Fireworks 是个 bad PR」:跑得省钱是一回事,跑得正确是另一回事
「Infra」频道最新
- 推理初创 General Compute 获 1 亿美元 A 轮融资,押注快速推理需求 — _akhaliq · 2026-10-28
- Evercore 预计 2027 年初微软自研 Maia 芯片仅占其 AI 芯片支出约 10% — Beth_Kindig · 2026-10-28
- YC F26 项目 Applied Kin 用 AI 原生模式造变压器,7 周即报价 — ycombinator · 2026-10-28
- 轨道算力公司 Cowboy 公布 1MW 卫星设计:5 机架 GPU、6 条 1.2Tb/s 激光链路 — BenBajarin · 2026-10-28
- 开源网关 Zilla 加入 LLM 支持:难点是保住原生 API 特性而非路由 — jkriket · 2026-10-28
- Together 提出 MIGHT 开源 AI 技术栈:模型/推理/路由/Harness/工具五层可自由替换 — togethercompute · 2026-10-28