Kimi K3 与 Fable 失败模式很像
ZainHasan6 · x · 2026-07-18
图中对比了 Kimi K3 max 和 Fable 5 xhigh 的失败分布,结论是两者的“失败指纹”几乎一样:
- 都有约 65% 的失败属于 near miss(接近正确但没达标)。
- 都明显更倾向于“保护基线”,即很少把已有测试套件搞坏。
- 过去一些开源模型常见的“会破坏 baseline”问题,在这组模型上不明显了。
- 回复里还提到,Kimi K3 与 Fable 的逐任务相关性达到 0.72,说明两者行为高度相似,可能意味着 benchmark 正在趋于饱和。
所属事件:Kimi K3 登顶前端代码榜,编程能力逼近 Fable 5(12 条相关)→
「模型」频道最新
- 网传 OpenAI 发布 GPT-6.1 Terra,配图基准分超 Claude Opus 5.5(未证实) — ZeroStateReflex · 2026-10-27
- GPT-6.1 Terra 事实错误率从 22.3% 降至 4.3%,降幅近 81% — haider1 · 2026-10-27
- GPT-6.1 Terra 发布:早期用户称写作与 computer use 表现亮眼 — BenBajarin · 2026-10-27
- GPT-6.1 Terra 跑分曝光:成本低至 Sol 一半,追不平 Astra — Angaisb_ · 2026-10-27
- Artificial Analysis 更新智能指数 v4.3.2,GPT-6.1 Terra 参与横评 — ArtificialAnlys · 2026-10-27
- AA 实测:GPT-6.1 Terra 幻觉率降 50%,准确率还升 2 分 — ArtificialAnlys · 2026-10-27