GPT-6 系列解出 86% 全新解谜游戏,游戏评测加速失效
gleech · x · 2026-11-17
Gavin Leech、Niccolò Zanichelli 等在 Paradigm 3 发布报告,测试 GPT-6 Astra 与 GPT-6.1 Sol 能否攻克发布于其训练之后的新游戏《Order of the Sinking Star》。要点:
- 从游戏 920 个谜题中筛除计时类后随机抽样,每题给 1M tokens,模型组合可解 86%(Sol 单独 73%,Astra 补足 13%)。
- 作者认为若给跨谜题上下文和更多 tokens,回合制部分基本能全解;在限定条件下,Astra 可算「通用游戏解题智能」。
- 但并非完全 held-out:13% 谜题在模型发布前已公开(11% 来自 6 月 demo 等)。
- 核心假设:前沿实验室正对游戏空间做「稠密采样」训练——游戏是最便宜的 RL 环境,机制可复用、模型还能自己生成新游戏,实验室大约从年中开始大规模这样做,这是新模型游戏表现暴涨的主因。
- 佐证:多家模型(ARC-AGI-3 上 Astra 63%、Gemini 4 Argon 50%、Claude Fable 5.2 81%)成绩同段位,暗示共享同一批环境供应商输入。
- 结论:2026 年 AI 评测的常态是「预饱和」——新测试刚设计出来,最新模型当周就能通过,用游戏测量泛化能力这条路正在关闭。
所属事件:研究称 GPT-6 系列可解 86% 全新解谜游戏(2 条相关)→
「研究」频道最新
- 伯克利 EECS 与统计系联合招聘 AI for Physical Sciences 教职 — berkeley_ai · 2026-11-17
- 折纸结构可充当物理储备池计算,驱动爬行机器人 — cephaloform · 2026-11-17
- 研究:AI Agent 前 6 小时探索最强,58% 任务从未触达最优思路盆地 — AlexGDimakis · 2026-11-17
- 新论文用激活探测恢复蒸馏图像/视频生成器的多样性 — _akhaliq · 2026-11-17
- 扰动输入即可改进预训练蒸馏:新论文重演 mixup 式技巧 — DimitrisPapail · 2026-11-17
- ReDiverse:少量改动即可恢复少步蒸馏扩散模型的多样性 — anand_bhattad · 2026-11-17