PlayCraft: Designing Engaging Games from Agent Play Experience
Weihao Cheng
cs.AI, cs.CV
2026-11-20
PlayCraft用十局试玩报告改十款游戏,高智力学习增益从12.4升至34.3个百分点,三个智力档都高于两条基线。
编程 agent 能按提示词做出能玩的网页游戏。能玩和值得再开一局是两件事。设计理论里,乐趣的一大来源是 mastery:靠练习形成策略和操作,开头成绩有限,后来明显更好。这条曲线通常靠人反复试玩、手调,生成管线很少优化它。
搜索和专门训练的控制器当过自动玩家,可学习性被当成趣味的替身。它们找策略的方式离人很远,也不会讲卡在哪。用试玩反馈改游戏的系统,优化的多半是整体质量。PlayCraft 只留一件事:只看画面的 agent 反复打,crafter 按试玩报告把游戏改到支持 mastery。
初始游戏能玩即可,玩和改交替三轮。
玩家 agent 只看渲染帧,用和人相同的键鼠,看不见代码。画面每 200 毫秒一帧,每 1 秒有效时间决策一次,输入刚过去的 5 帧,输出接下来 1 秒内 50 个各 20 毫秒的操作。一局在通关或满 60 秒时结束。推理时游戏暂停,延迟不占预算。每轮 10 局,游戏重置,对话和教训保留。局后写进度、成绩、决策和对机制的理解,并更新教训备忘。规划用 GPT-6.1 Sol 中等推理,复盘用超高推理。
crafter 先估玩家进游戏前的感知、操作和策略能力。10 局往往到不了专家,100% 参照要外推,不能从记录直读。再估新手、中等、专家的成绩。专家 60 秒内应完成目标,该成绩为 100%;新手锚在 10%到30%,中等锚在 50%到70%。策略在取消时限后仍应划算。差距从入门难度、操作负担、策略空间、奖励、递进和天花板诊断。
提案和改代码分两次会话,模型仍是 GPT-6.1 Sol,设计用超高推理,实现用最大推理。改动要打开新打法,保住原来的核心交互,学习收益和新增复杂度放一起称。不靠陌生机制压低新手分。改完跑构建并看实际画面。说明只留目标、规则和按键。
Code 与 Policy 共用锚点、步骤、模型和三轮迭代,只换证据。Code 只读代码。Policy 用 10 个读内部状态、不跨局记忆的控制器试玩,改编自 Recursive Game Creator。
10 款 Three.js 游戏:2D 复刻 Flappy Bird、T-Rex Runner、Breakout、Snake、Pac-Man,以及提示词生成的 3D 游戏 Archery Hunting、Desert Racing、Robotic Arm、Drone Delivery、Space Shooter。评测是全新跑局。智力三档:Low 为 GPT-6.1 Terra,规划中等、复盘超高;Medium 为 GPT-6.1 Sol,规划中等、复盘超高;High 为同一模型,规划超高、复盘最大。每版本、每档 3 次独立的 10 局。
成绩取终局分,Desert Racing 用检查点数除以有效时间。改版会改变分数上限,所以每个游戏、每种方法单独除以自己 90 局里的最大值。学习增益是后三局均值减前三局再乘 100。学习斜率是十局对局号的拟合斜率再乘 100。宏观平均对 10 款游戏等权。
学习增益:
| 档 | 初版 | Code | Policy | PlayCraft |
| Low | 11.0 | 7.4 | 12.3 | 13.7 |
| Medium | 17.5 | 23.5 | 16.2 | 31.5 |
| High | 12.4 | 16.1 | 22.3 | 34.3 |
三档都是 PlayCraft 最高。相对初版分别高 2.7、14.0、21.9 个百分点,更高的游戏数为 8/10、9/10、8/10。相对 Code 高 6.3、8.0、18.2;相对 Policy 高 1.4、15.3、11.9。
学习斜率:
| 档 | 初版 | Code | Policy | PlayCraft |
| Low | 1.96 | 1.15 | 1.82 | 1.95 |
| Medium | 2.52 | 3.49 | 2.62 | 4.61 |
| High | 2.10 | 2.32 | 3.20 | 4.74 |
Low 档 1.95,与初版 1.96 几乎打平,落后约 0.0033,仍高于 Code 0.80、Policy 0.13,7/10 更陡。Medium 和 High 比初版高 2.09、2.64。
从 Low 到 High,增益涨 20.5 个百分点,Code、Policy、初版涨 8.7、10.0、1.4。斜率涨 2.78,对照 1.17、1.38、0.14。大头在 Low 到 Medium,增益加 17.8、斜率加 2.66,Medium 到 High 只加 2.8 和 0.13。前三局平均归一化成绩 High 为 47.3%,Medium 为 38.2%。改版时采集用的就是 Medium,更强玩家开头更高,后面空间更小。
Medium 下三轮之后,9/10 的两项指标超过初版。Robotic Arm 第一轮掉得最狠,最终仍低于初版。High 档 Pac-Man 上增益只有 3.1,初版 22.6,Policy 43.9。
Breakout 把一击碎砖改成底面累计、三下打穿,侧击或顶击清已损邻居,三档领先。Archery Hunting 加掩体和闻声撤退,安静打中金点不惊邻靶,三档也领先。Drone Delivery 高空有风,掩体在楼后,剩电和低伤给分;中高档领先,低档常到不了第二单,两项垫底。Robotic Arm 加了腕抖、随机罐位和转台,抓空和互挡还在,三档至少输一条基线。
证据换成看画面、按同样的键、带上局教训的试玩。已经能玩的小游戏可以不靠真人试玩,直接补学习曲线。宏观平均上,各智力档两项都不低于两条基线,Low 斜率对初版持平。优势随玩家变强变大。
论文承认两点。它假定玩家的玩法和学习像人。但没和真人对照过决策、卡点和学习轨迹。有效时间一加长,游玩时间和推理次数一起涨,更长的游戏目前不划算。
改版采集用的就是评测 Medium。High 只是提高推理力度。游戏可能贴着该模型的习惯改。Low 换了 Terra,仍不是人。好玩本身没有测。
按各自最高分归一化,增益不是难度比较。Figure 3 里 Robotic Arm 两项都低于初版。每格 3 次 10 局。Pac-Man 的 High 档和 Robotic Arm 都有大落后。宏观平均领先,盖不住单款失败。推理时游戏暂停,没有实时压力。锚点百分比是指定的,没有敏感性实验。