「24 个圆画数字 24」极简测试横评:Gemini 失利
10 月 11 日,一条极简测试在 X 上流传:要求模型「用恰好 24 个(黑)圆在白底上画出数字 24,不能多也不能少」。多位测试者用同一任务横评各家模型,结果分化明显,Gemini 被多位测试者评为明显落后于前沿模型的「第二梯队」。
已确认
- 安全研究者 David Manheim 确认:Gemini 即使在 high 思考档位下也失败,不仅还没声称达到 24 就中途放弃,而且数错了圆的数量;他据此认为 Gemini 明显属于「第二梯队」模型,落后于前沿模型。
- Manheim 同时报告 Opus 4.6 毫无障碍地通过同一任务,Opus 5.5 在 Medium 档以及 ChatGPT 也通过;他补充称连 Haiku 4.5 都能正确计数,要让「像样的模型」做错这道题,得把难度压得相当低。
- 网友 @upperx 用同样的极简 prompt 测试 Gemini(high),发现生成图中圆圈数量与要求不符,且被追问「你画了几个圆」时仍答错,指向图像模型对自身输出的核对能力不足。
- 测试者 DellAnnaLuca 最初发起/参与讨论,得出 Gemini 属第二梯队、Opus 与 ChatGPT 轻松过关的结论;Manheim 在其基础上补充了 Haiku 4.5 的对照结果。
为什么重要
- 这是一次低成本、可复现的民间基准:单一极简 prompt 就能区分不同模型的计数与自我校验能力,成为社区快速检验模型短板的常用手段。
- 结果显示 Gemini 在多模态计数任务上与 Claude、ChatGPT 系列存在可感知差距,且图像模型对自己刚生成的内容都无法正确核对,暴露自一致性层面的薄弱。
- Manheim 也提醒解读边界:这类实验若在低档模型上失败,更多说明发帖人不熟悉高档模型,而非 LLM 能力的普遍结论。
2026-10-11 ~ 2026-10-11 · 6 条相关
一手来源
- Haiku 4.5 与 Opus 4.6 均轻松通过此推理测试,打脸模型能力质疑 — davidmanheim ·
- 「24 个圆画数字 24」测试:Gemini 失败,Opus 5.5 与 ChatGPT 通过 — davidmanheim ·
- 用 24 个圆画数字 24,图像模型仍数不对自己画的圆 — upperx_ ·
- 【源头】用 24 个圆画数字 24,图像模型仍数不对自己画的圆 — upperx_ · 2026-10-11
- 【源头】「24 个圆画数字 24」测试:Gemini 失败,Opus 5.5 与 ChatGPT 通过 — davidmanheim · 2026-10-11
- 用同一推理测试横评模型:Gemini 掉链子,Opus 与 ChatGPT 轻松过关 — DellAnnaLuca · 2026-10-11
- 民间推理测试再添证据:Gemini 数错还被判「第二梯队」 — davidmanheim · 2026-10-11
- 博主实测:Gemini 数数中途放弃,Opus 4.6 轻松通过 — davidmanheim · 2026-10-11
- 【源头】Haiku 4.5 与 Opus 4.6 均轻松通过此推理测试,打脸模型能力质疑 — davidmanheim · 2026-10-11