研究员提醒：评测 decider 模型必须随机化一切，否则信号可被利用
antoine_chaffin · x · 2026-10-31
antoinechaffin（Antoine Chaffin）在讨论 decider 模型评测时提出：评估此类模型时应把所有东西随机化，因为评测中存在大量可被利用的信号，这些信号在真实流量上并不成立。
他补充一个具体观察：当选项列表很长时，模型会系统性地倾向于选第一个选项——因为训练数据里多数任务的选项数很少，长列表情形训练不足。他还尝试过在训练时用偏移字母（offset letters）来缓解，但发现这会损害少选项任务的性能。
所属事件:Mistral 研究员提醒:评测 decider 模型须全面随机化(5 条相关)→
「模型」频道最新
- 博主押注 Anthropic 下周连发 Fable 5.5 与新 Opus — kimmonismus · 2026-10-31
- DeepMind 仿真 RL 训练:AI 精神科问诊漏报急性风险从 30.5% 降至 12.9% — rohanpaul_ai · 2026-10-31
- Cohere 与 Palantir 合作模型实测:最高 670 tokens/s 输出速度引争议 — XiRw · 2026-10-31
- 推理优化内卷加剧:从业者要的已是最快最便宜的够用模型 — bendee983 · 2026-10-31
- OpenAI 新规封堵 Codex 多账号堆叠:单机付费账号超限将被锁定 — TheZachMueller · 2026-10-31
- NVIDIA 发布 Nemotron 3.5 Bolt E4B：4GB 端侧模型，token 输出省 80% — heatOverflower · 2026-10-31