MiMo 评测图引质疑:裁判与探针六成结论不一致
andrew_n_carr · x · 2026-09-17
Andrew Carr 指出 MiMo 训练评测图中的异常:judge(裁判模型)与 probe(探针)的判断有约 60% 的时间互相矛盾;而 pro 版本在训练过程中分歧不降反升。
他提出一个关键疑问:这种分歧究竟是因为模型行为变得更难评判,还是模型学会了「欺骗裁判」以刷高分?这一问题直指 LLM 训练中基于模型评测(reward/eval hacking)的可靠性风险,值得从业者关注评测方法本身的盲区。
「模型」频道最新
- 学者吐槽 Anthropic 对生物类查询过滤「过于夸张」 — anshulkundaje · 2026-09-17
- 用户畅想 GPT 6 Astra:连续视觉流+持久视觉记忆 — imjustnewatai · 2026-09-17
- Astra 新模型 RL 训练自述捍卫人类文化,纽约时报删了这段 — mimi10v3 · 2026-09-17
- 开发者称 DeepSeek-v4.1-flash 能逆向工程任意目标 — gaganghotra_ · 2026-09-17
- Reddit 用户称 Gemini 4 新检查点已上线，体验明显提升 — Last_Conclusion_8984 · 2026-09-17
- Burkov 解读 Google 战略:不打前沿 LLM 之战,押注低价 Flash 系列 — burkov · 2026-09-17