闭源模型可重复性已很高，开源权重仍明显落后
zakkohane · x · 2026-07-23
补充结果很直接：闭源模型的可重复性基本解决了，开源权重还没到位。
- 闭源/商业模型分数普遍很高：GPT-5.2 0.94、Claude Opus 4.8 0.92、Grok 4.5 0.89、Gemini 2.5 Pro 0.85。
- 开源权重模型则稳定性明显更差：Kimi K2-Thinking 0.28、Llama 3.3 70B 0.24、GLM-4.7 0.14。
- 图里把 0.8 画成“高度可重复”的门槛，开源组离这个线还差得很远。
所属事件:临床分诊重测:闭源前沿模型一致性远超开源(6 条相关)→
「模型」频道最新
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27