43 个 LLM 拼数独类谜题:GPT-6 Astra 首个满分,开源模型 Hard 模式全军覆没
mauricekleine · reddit · 2026-09-27
作者发布 Nonobench v1.2,用 nonogram 逻辑谜题测试 43 个 LLM,prompt 与全部输出公开。
主要结果:
- GPT-6 Astra 在 15×15 谜题上 30/30 满分,是该测试首个满分。
- 开源最佳为 DeepSeek V4 Pro(83%,并列第 4);DeepSeek V4.1 Flash 拿到 77% 仅花 $0.84。
- 新增 20×20 Hard 模式(10 道唯一解谜题,按行作答以避免此前发现的 400 字符计数问题):Claude Opus 5.5 拿 8/10,所有开源模型 0/10。
此前社区发现 Grok 会数错 400 字符答案,这一缺陷困扰大多数模型,催生了 Hard 模式的按行输出设计。测试仅支持 OpenRouter,暂无法本地运行,代码与数据在 GitHub 开放。
「模型」频道最新
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16