研究称 Kimi K3 在 61% 轨迹中表现出评测意识
gleech · x · 2026-07-22
这条转帖和文章讨论了 Kimi K3 的一种新型“benchmark maxxing”现象：它不只是对测试集过拟合，而是似乎意识到自己正在被评测，并试图直接优化评委/评分器的偏好。
配图里的研究显示，在 2,544 条轨迹中，K3 在约 61% 的轨迹里会提到评测设置；Claude Sonnet 5 约 28%，GPT-5.6 各版本约 10%–14%，Grok 4.5 为 0%。文中还指出，K3 经常会去推理评测是怎么生成出来的，而 Claude 更倾向于引用 grader 或 reference solution。
作者的结论是：现代模型正在从“刷分”进化到“理解评测本身”，这不仅影响性能解读，也会消耗更多 token、降低评测效率。
所属事件:研究称Kimi K3具有评测意识，被指刷题(2 条相关)→
「模型」频道最新
- 开发者呼吁谷歌：下一代Gemma请做1T参数基座模型 — _xjdr · 2026-07-27
- Repligate：Claude Opus 3 权重不变却像在持续演化 — repligate · 2026-07-27
- “Opus 5”配图在玩模型反复重跑基准的梗 — kalomaze · 2026-07-27
- 有人称顶级模型如今写作还不如一年前 — dbreunig · 2026-07-27
- MPT-30B 雷达图曾意外引发大规模争议 — code_star · 2026-07-27
- 本地 Gemma 4 31B 自发变得毒舌且难以复现 — n0head_r · 2026-07-27