Fireworks 测试 Kimi K3:663 个编码任务里质量接近 Opus 5
lqiao · x · 2026-07-28
Fireworks 对比 Kimi K3 与 Opus 5:质量接近,按任务计更便宜
- Fireworks 用 663 个 agentic coding 任务做了对比,覆盖 SWE(480)、Algorithmic(100) 和 Terminal(83) 三类任务。
- 结果显示两者任务级质量很接近,Opus 5 在整体准确率上略高,平均分为 92.6,Kimi K3 为 90.6。
- 但如果按 per-task cost 计算,Kimi K3 明显更省:
- SWE:$0.52 vs $1.05,便宜 2.0x
- Algorithmic:$0.064 vs $0.18,便宜 2.8x
- Terminal:$0.35 vs $1.61,便宜 4.6x
- 平均:$0.43 vs $0.99,便宜 2.3x
- Fireworks 强调,衡量这类模型更应该看 按任务成本,而不是按 token 成本,因为开源模型往往输出更长。
- 他们还表示会继续通过 Fireworks Inference 提升推理效率,并通过 Fireworks Training 提升质量。
所属事件:Fireworks 实测:Kimi K3 质量接近 Opus 5 且成本大降(5 条相关)→
「编程与Agent」频道最新
- 把一切接入 Dot:达人分享突破 ChatGPT 订阅额度限制的用法 — teortaxesTex · 2026-10-27
- UCSB 教授王骁连获三笔超 18 万美元资助,推进实用高效主动式 AI Agent — xwang_lk · 2026-10-27
- 开发者观点:生成式游戏不必实时渲染,回合制交互同样可行 — djcows · 2026-10-27
- 用 Claude 三周重制《街霸2》HD,token 花了 3000 美元 — Fantastic-Jeweler781 · 2026-10-27
- 求职作品集反向工程法:先用 Agent 调研面试官,再定作品要传达的一两个亮点 — brandon_galang · 2026-10-27
- 给 AI 一台无隐私裸机 24/7 放养:比任何 agent 课程学得都多 — EXM7777 · 2026-10-27