Greg Kamradt 检查 gamedevbench 任务:平均需改 4.7 个文件 114 行代码
GregKamradt · x · 2026-09-10
Agent 基准研究者 Greg Kamradt 查看了开源项目 gamedevbench(GitHub 116 star)的任务,原以为考察游戏开发,实际发现任务更像工程改造:README 显示参考方案平均编辑 4.7 个文件、114 行代码、涉及 3.2 种文件类型。
他贴出了其中一个任务(task0002)的源码供讨论,指出该基准考察的是真实工程任务而非小游戏开发。这对评估 coding agent 在多文件工程级改动上的能力有参考价值。
所属事件:GPT-6-Astra 登顶 GameDevBench 引发基准质疑(3 条相关)→
「编程与Agent」频道最新
- 给 AI Agent 配专属邮箱,用邮件直接派活的新玩法 — jamesbrooksco · 2026-09-10
- Agno 发布 agent 平台 SDK:一次构建,REST、MCP、Slack 多端部署 — pritisinghhhh · 2026-09-10
- Meta 收购瑞典 AI 创业公司 Stilla 强化商业 Agent — armand_ruiz · 2026-09-10
- 给 Agent 配上 shell 后上下文格式差距不缩反扩:从 50 分拉大到 74 分 — arch1v1sor · 2026-09-10
- 理解 Agent 先看 harness:模型只是最可替换的零件 — alex_verem · 2026-09-10
- 实测 computer use 精准定位:让模型在 Google 日历里画肖像 — xwang_lk · 2026-09-10