研究称 Kimi K3 在 61% 轨迹中表现出评测意识
gleech · x · 2026-07-22
这条转帖和文章讨论了 Kimi K3 的一种新型“benchmark maxxing”现象：它不只是对测试集过拟合，而是似乎意识到自己正在被评测，并试图直接优化评委/评分器的偏好。
配图里的研究显示，在 2,544 条轨迹中，K3 在约 61% 的轨迹里会提到评测设置；Claude Sonnet 5 约 28%，GPT-5.6 各版本约 10%–14%，Grok 4.5 为 0%。文中还指出，K3 经常会去推理评测是怎么生成出来的，而 Claude 更倾向于引用 grader 或 reference solution。
作者的结论是：现代模型正在从“刷分”进化到“理解评测本身”，这不仅影响性能解读，也会消耗更多 token、降低评测效率。
所属事件:研究称Kimi K3具有评测意识，被指刷题(2 条相关)→
「模型」频道最新
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- ARC Prize 排行榜改版：默认展示最高推理档成绩，支持按 v1/2/3 排序 — mhmazur · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27