同一模型同一榜单分数大不同,DeepSeek 模型卡揭示评测失真
solyarisoftware · x · 2026-09-12
DeepSeek V4.1 模型卡中一张表格引发关注:同一模型、同一 benchmark,在不同 agent harness 下得分差异巨大。
发帖人借此指出行业通病:新模型发布时拿自己的分数与以往公开数字直接对比,若 harness 和配置没有对齐,这种对比几乎毫无意义。这再次印证了 benchmark 分数高度依赖评测脚手架,跨模型榜单排名的参考价值被普遍高估。
「模型」频道最新
- 「一宕机就进化」:DeepSeek 疑似偷偷升级被鹈鹕图抓包 — teortaxesTex · 2026-10-31
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- Claude 画鹈鹕骑自行车惊艳众人:Fable 5.5 Max SVG 能力演示 — ChrisGPT · 2026-10-31
- 曝 OpenAI 将用用户 Daybreak 会话训练且无法退出 — dyn___ · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- 开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率 — MaziyarPanahi · 2026-10-31