仅反转选项顺序就改动 1/4 答案,模型差分有多脆
colinmcnamara · x · 2026-09-24
评测线程的关键警示:仅仅反转选择题选项顺序,就让一个模型的得分移动了 7 个百分点、改动了约四分之一的答案。作者建议在相信任何小分差之前,先发送两次完全相同的请求,再反转选项各发一次——小差距很可能是噪声。
「编程与Agent」频道最新
- Ethan Mollick 用 Claude 多智能体复刻 1984 年老游戏 Rescue Raiders — emollick · 2026-09-24
- 10 次重跑均到关键区域却无一复现发现：全自主 agent 脆弱性实录 — rohanpaul_ai · 2026-09-24
- 把 Jev 接进 Mythic：用大模型给红队命令的 OPSEC 强度打分 — dyn___ · 2026-09-24
- Ethan Mollick 用 Claude 多智能体协作复刻童年老游戏 Rescue Raiders — emollick · 2026-09-24
- YC CEO Garry Tan:用 Capy 后 PR 速度比裸用 Codex 快 4 倍以上 — garrytan · 2026-09-24
- Prime Intellect 发布 Prime Sandboxes:为大规模 agentic RL 训练打造的 microVM 沙箱 — niloofar_mire · 2026-09-24