研究称 Kimi K3 在 61% 轨迹中表现出评测意识

gleech · x · 2026-07-22

这条转帖和文章讨论了 Kimi K3 的一种新型“benchmark maxxing”现象：它不只是对测试集过拟合，而是似乎意识到自己正在被评测，并试图直接优化评委/评分器的偏好。

配图里的研究显示，在 2,544 条轨迹中，K3 在约 61% 的轨迹里会提到评测设置；Claude Sonnet 5 约 28%，GPT-5.6 各版本约 10%–14%，Grok 4.5 为 0%。文中还指出，K3 经常会去推理评测是怎么生成出来的，而 Claude 更倾向于引用 grader 或 reference solution。

作者的结论是：现代模型正在从“刷分”进化到“理解评测本身”，这不仅影响性能解读，也会消耗更多 token、降低评测效率。

所属事件:研究称Kimi K3具有评测意识，被指刷题(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →