Kimi K3.1 被质疑背题：TerminalBench 高分经不起任务微调
teortaxesTex · x · 2026-11-03
TilmanRa 指出 Kimi K3.1 在 TerminalBench 上的领先可能源于对隐藏测试集的知识泄漏：在最难任务上（所有前沿模型都表现不佳），Kimi 却很强，而只要轻微改动任务使其偏离原始隐藏测试，性能就明显崩掉。转发的 teortaxesTex 认为整个 TerminalBench 4.0 都不可靠，Kimi 的分数尤其存疑，但他也承认在多个「明显没刷题」的新评测中 Kimi 表现确实强劲。
所属事件:Kimi K3.1 被质疑在 TerminalBench 上背题(2 条相关)→
「模型」频道最新
- DeepMind 与斯坦福论文：提示图里一个红心就能左右 AI 写代码方式 — rohanpaul_ai · 2026-11-04
- 提示词里放一颗红心,竟能让模型从 0% 到 100% 写递归 — rohanpaul_ai · 2026-11-04
- DeepSeek 开源 DeepInfer 推理引擎:单卡每秒输出超 2.6 万 token — bycloud · 2026-11-04
- DeepMind 用 RL 训练 Gemini 做精神科问诊，鉴别诊断正确率翻倍 — SRSchmidgall · 2026-11-04
- Particle-1 令牌省 45%，后训练 DeepSeek V4.1 Flash 降成本 — heyneighbor · 2026-11-04
- Decider 流量三周达 Jev 的十分之一，OpenRouter 榜单存疑 — bo_wangbo · 2026-11-03