五大前沿模型事实核查对比:23%结论严重相悖
Pavel___1__ · reddit · 2026-08-25
Lenz 研究团队将 1000 条真实事实核查 claim 输入 Claude Fable 5、GPT-5.6、Gemini 3.1 Pro、Sonar Deep Research 和 Grok 4.5 五个前沿模型(均开启联网与思考)。结果显示:五者完全一致的仅占 37%;23% 的情况下,模型间的结论在 5 级量表上相差 2 级以上(实质性分歧)。模型性格差异显著:Gemini 倾向于非黑即白,Sonar 频繁折中,Claude 最接近多数派。研究发现模型自述的置信度(Confidence)几乎无效,76% 的回答都给了 9-10 分的绝对自信,即便在它们互相争执的 claim 上也是如此。作者警告:单一模型的裁决受限于厂商特性,且置信度不可作为人工介入的信号,模型间的不一致性远强于自评不确定性。
「模型」频道最新
- 「Argon 不信任我」:模型拒绝触发研究员吐槽 — thegautamkamath · 2026-10-15
- 用户实测:Grok 搜 X 帖子表现差,不如让 Opus 控制浏览器 — JasonBotterill · 2026-10-15
- Claude-Next 疑似通过 Opus 隐身路由回归 CLI 与网页端 — koltregaskes · 2026-10-15
- KAUST 论文揭示「思维泄漏」:无思考模式 RL 增益只是旧能力回放 — kaust-generative-ai · 2026-10-15
- Cline 数据:Cline 上 Gemini 4 Argon 首日采用率为 Opus 5.5 的 3 倍 — JMateosGarcia · 2026-10-15
- 同一提示词让三个 AI 给 JUCE 混响插件做专业 UI,Grok 与 Opus 打平 — hullabaloo22 · 2026-10-15