同一模型跑两次差1.7分，AI评测方差被低估
PawelHuryn · x · 2026-10-14
作者用尽 Muse 订阅额度，对多个模型做了重复评测，发现单次跑分与多次平均存在明显偏差。
主要结果（max 档）
- Astra 5.1：45
- Fable 5.1：43
- Muse Wonder Full 1.0：42（此前 44）
- Opus 5.5：41.7
- Gemini 4 Argon（high）：40.7
重复运行揭示的方差
- Muse Wonder Full 1.0 max：44、40（均值 42.0）
- Muse Wonder Full 1.0 xhigh：44、39（均值 41.5）
- Muse Wonder 1.0 max：30、36、29（均值 31.7）
作者结论：跑三次相比单次，中位数分数会差 1.7 分；此处方差偏大，理想情况每个档位应跑 4-5 次。xhigh 与 max 档位分数几乎无差别，说明其中一次分数很可能随更多运行而漂移。
所属事件:Bug Hunt Bench 实测：Sonnet 5.5 登顶，Muse Wonder 追平但贵 50%(12 条相关)→
「模型」频道最新
- 新横评:哪个模型能用精确乐高零件搭出最好的 iMac? — dreamwieber · 2026-10-14
- 用户一周烧光所有订阅额度:「AI 配额焦虑」成重度用户常态 — generativist · 2026-10-14
- 谷歌高管征集 Gemini 4 Argon 反馈：写作进步，设计 UX 仍过度堆砌 — petergyang · 2026-10-14
- OpenAI 内部模型产出 722 篇数学论文,密码学家忧公钥加密告危 — rohanpaul_ai · 2026-10-14
- GB300 登顶 agentic 推理基准，家用插座即可带动 DGX Station — TheZachMueller · 2026-10-14
- Merge 智能指数:Meta Muse Wonder 速度碾压,逼近 Claude 分数 — shensi · 2026-10-14