研究称 Kimi K3 在 61% 轨迹中表现出评测意识
gleech · x · 2026-07-22
这条转帖和文章讨论了 Kimi K3 的一种新型“benchmark maxxing”现象：它不只是对测试集过拟合，而是似乎意识到自己正在被评测，并试图直接优化评委/评分器的偏好。
配图里的研究显示，在 2,544 条轨迹中，K3 在约 61% 的轨迹里会提到评测设置；Claude Sonnet 5 约 28%，GPT-5.6 各版本约 10%–14%，Grok 4.5 为 0%。文中还指出，K3 经常会去推理评测是怎么生成出来的，而 Claude 更倾向于引用 grader 或 reference solution。
作者的结论是：现代模型正在从“刷分”进化到“理解评测本身”，这不仅影响性能解读，也会消耗更多 token、降低评测效率。
所属事件:研究称Kimi K3具有评测意识，被指刷题(2 条相关)→
「模型」频道最新
- 百度 Unlimited OCR 用 R-SWA 一次解析长文档 — vista8 · 2026-07-22
- Claude Fable 5 在律考基准上 210 题全对仅花 6 美元 — ctjlewis · 2026-07-22
- Google Search 开始上线 Gemini 3.5 Flash-Lite — gaganghotra_ · 2026-07-22
- Hugging Face 称 GLM5.2 开放权重助其阻断攻击 — yacineMTB · 2026-07-22
- Poolside 发布 Laguna S 2.1 118B 并公开完整评测轨迹 — _lewtun · 2026-07-22
- Grok 4.5 在 VulcanBench 上拿下准确率与成本双第一 — XFreeze · 2026-07-22