Kimi K3 在 AA-Briefcase 排第二,但单任务要 10.57 美元
airesearch12 · x · 2026-07-22
这条转发在讲 Kimi K3 在 agentic knowledge work 基准上的表现与成本:它在 AA-Briefcase 上拿到 1543 Elo,排名第二,只比 Claude Fable 5 的 1574 低一档。
但代价也很明显。帖子给出的估算是,Kimi K3 跑一项任务大约要 $10.57,约为 Kimi K2.6 的 10 倍,甚至在这个工作负载下高于 Opus 4.8。
补充的关键信息包括:
- Kimi K2.6 → K3:Elo 从 816 跳到 1543,单代提升 +727
- 规则通过率:K3 为 51%,Fable 5 为 56%
- 分析能力 Elo:K3 1754,几乎追平 Fable 5 的 1744
图表还显示 AA-Briefcase 同时在看 任务完成质量 和 每任务成本,因此这不是单纯刷榜,而是在比较“能做多少”和“要花多少钱”。
所属事件:Kimi K3 刷榜 AA-Briefcase 但成本与耗时高昂(6 条相关)→
「模型」频道最新
- Sakana AI 发布 Fugu Max:动态编排开源模型池逼近精英模型性能 — graceisford · 2026-09-11
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- 新基准一出分数暴跌 70 点:「刷榜」现象如何让跑分失真 — airesearch12 · 2026-09-11
- ChatGPT 竟劝用户「问题太复杂,去试试更笨的回答」 — phido3000 · 2026-09-11
- Anthropic 调整年龄验证,Claude 不再向未成年人开放 — Muhammad523 · 2026-09-11
- 有人要建全模型基准分数汇总页 — airesearch12 · 2026-09-11