用 2D 平台游戏测 LLM 决策力:7.9B 模型唯一通关 14 关
Felladrin · reddit · 2026-10-17
Reddit 用户 Felladrin 把此前分享的「LLM 玩 2D 平台游戏」项目做成了开源 benchmark:模型读取游戏的文本描述,在每一步回答两道选择题(选目标、按键),任何能输出选项概率的模型都能参与,结果可复现并汇总到排行榜。
当前榜单亮点:
- 排名第一的 PurpleMIST-Flash-1.0(7.9B) pass@1 达 100%,是唯一在全部 5 个 seed 下通关全部 14 关的模型
- 第二名 Darwin-27B-ZTC(25.6B)pass@1 仅 40%,通关 13.4 关——大模型并未占优
- 其余多数模型 pass@1 为 0%,通关数从 13 关到 1 关不等
27B 级别模型跑完全程(5 seeds、每关 100 次死亡上限)约需 16 小时。代码与排行榜已在 GitHub 开源,任何人可跑自己的模型并贡献结果。
「模型」频道最新
- 马斯克:xAI 正打造商用 Hagglebot,称或为企业年省 6 万亿美元 — elonmusk · 2026-10-17
- 本周最被低估的 AI 大事:微软 MAI Base 2 与 Meta Muse Spark Open — The AI Daily Brief · 2026-10-17
- 用户抱怨本周 token 消耗异常:一天从 100% 掉到 0% — MasterAyolos · 2026-10-17
- 爆料称K3.1尚未发布,且相关工作早于蒸馏攻击 — ChrisGPT · 2026-10-17
- llama.cpp 新增 IBM Granite 模型切换功能,本地即可运行 — jacek2023 · 2026-10-17
- National Design Studio 发布 Rampart Edge 端侧隐私过滤小模型 — kevinnbass · 2026-10-17