LLM排行榜被评测配置操控：同一模型得分31%到89%
rohanpaul_ai · x · 2026-09-01
一项研究揭示LLM排行榜结果受评测配置影响巨大。论文固定模型和3679道题，仅改变提示格式、选项顺序、评分方法等常规选择，结果差异显著：gemma4-31b得分在31%到89%之间波动，12个模型中有4个在至少一种配置下排名第一。相邻模型平均差距的95.7%来自配置敏感题目。最大不稳定源是评分方式：生成答案与选择最高概率选项。
「模型」频道最新
- 用户痛诉 GPT-6.1 Sol 慢且 bug 多,转投 Claude 称快 7 倍 — karmay007 · 2026-10-16
- 博主称免费版用户已严重低估 10 个月来 AI Agent 的进步 — realmeetjames · 2026-10-16
- 腾讯混元开源 Hy Memory 2.0:模型+框架+MemHub 三件套管 Agent 记忆 — TencentHunyuan · 2026-10-16
- 四个 Gemini 代理打 Minecraft：27 小时写 2783 个程序击败末影龙 — _rockt · 2026-10-16
- 曝 OpenAI 年内再发两款模型：GPT-6.1 Astra 与 GPT-6.5 Bell — VraserX · 2026-10-16
- 开源模型已追平 Claude Sonnet 5，差距收窄速度前所未有 — LegacyRemaster · 2026-10-16