GPT-6-Astra 登顶 GameDevBench 引发基准质疑
GPT-6-Astra 登上游戏开发基准 GameDevBench 第一名,但绝对分数低得令人意外,与 Twitter 上大量称赞其游戏开发能力的声音形成反差。Arc Prize 组织者 Greg Kamradt 随即检查了该开源基准的任务,发现每个任务平均需修改 4.7 个文件、114 行代码,更像工程改造任务而非真正的游戏开发,引发对基准有效性的质疑。
2026-09-09 ~ 2026-09-10 · 3 条相关
- GPT-6-Astra 登顶 GameDevBench,但分数低得令人意外 — sethkarten · 2026-09-09
- Greg Kamradt 质疑 GameDevBench:平均改 4.7 个文件,更像工程任务 — GregKamradt · 2026-09-10
- Greg Kamradt 检查 gamedevbench 任务:平均需改 4.7 个文件 114 行代码 — GregKamradt · 2026-09-10