Kimi-K3 的 LisanBench 评测解读
scaling01 · x · 2026-07-18
Kimi-K3 在 LisanBench 上的表现
作者指出，Kimi-K3 是当前 LisanBench 上最强的开权重模型，整体表现优于 Gemini 3.1 Pro (high)，但在相近 token 消耗下仍不及 Opus 4.7 xhigh。
关键结论
- 在标准指标上排第 5，在难度加权指标和best-of-3指标上排第 4。
- 也优于 GPT-5.5 和 Opus 4.8，但代价是使用了 2–3 倍 token。
- 作者认为这和他在其他 benchmark 上观察到的趋势一致：Kimi-K3 很强，但还需要一两轮迭代来提升推理效率，才能真正追上前沿模型。
额外观察
- 该模型的搜索行为与其他前沿模型明显不同。
- 它会使用一些非常生僻或过时的词，作者认为这会让标准词典评分对它更不利。
- 更值得注意的是，它会大量利用“wildcard families”：通过在同一位置反复改动一个字母，在一组 edit-distance 为 1 的词簇里连续跳转。
- 作者称，Kimi-K3 约有 35% 的有效转移发生在这类家族中，而其他模型都低于 2%。
所属事件:Kimi-K3登顶LisanBench开源最强模型(2 条相关)→
「模型」频道最新
- 讽刺帖晒 DeepSeek 文档图表理解翻车：定位框集体错位 — burkov · 2026-10-18
- 开发者吐槽:Claude 模型爱说 "not done" 成当前最大痛点 — jasonkneen · 2026-10-18
- 开源语音决策模型 TYGER 发布：80ms 决策让语音 Agent 实现全双工 — solyarisoftware · 2026-10-18
- 付费 Google AI 订阅撞墙：自定义域名账户被要求转个人账号 — ChrisRackauckas · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18