AI 机器人测试数周不及 219 名真人:难度曲线一周内彻底反转
idlerunner00 · reddit · 2026-10-25
开发者用 Claude Code 和 Opus 5.5 几乎独立开发了浏览器多人提取类 RTS 游戏 Out of Pixkrieg,并在真人测试前用 Claude 搭建了四种风格的机器人玩家(谨慎/普通/贪婪/采集)加经济模拟器来验证平衡性。机器人测试显示设计如预期:边缘区单位损失 0-2%,核心区约一半,整体每次 raid 损失 30-36%。
但周末开放 219 名真人玩家后数据完全反转:边缘区损失 10.4%,核心区仅 6%(95% 的核心 raid 成功撤离),整体仅 7.3%——同一张地图,曲线倒挂。真人远比机器人谨慎。
作者总结与 Claude 协作的三条经验:
- 机器人只按你写的方式玩,适合验证规则是否成立,无法预测真人的谨慎程度;
- 把设计目标变成游戏自动测量的指标:仪表盘对照 19 个真实玩家指标(上次 11 个不达标)和 22 个仅模拟可测的指标,让 Claude 对着量化差距迭代,而非靠直觉;
- 真实玩家仍是最终测试,定期开放周末测试、收集行为反馈、让 Claude 迭代,下一轮验证效果。
作者坦言仍不理解为什么真人觉得核心区安全,并向其他做过游戏机器人的人求证机器人与真人的差距。
「编程与Agent」频道最新
- 论文提出自适应技能粒度框架，编码Agent运行时路由成功率达100% — dair_ai · 2026-10-25
- 研究：LLM 自我重写 Agent harness 两轮仅提升 2.8 分且不显著 — omarsar0 · 2026-10-25
- 开发者给 agent 线程加标签,跨机器一键过滤编排任务 — kevinkern · 2026-10-25
- 开发者：Agent 好用到能反过来告诉你怎么改进它自己 — Then-Programmer7221 · 2026-10-25
- AIOps 减不了告警量,瓶颈在没人敢自动化的 runbook — krishnan · 2026-10-25
- Hermes 新推 subagent 路由插件：按场景配模型与算力 — intellectronica · 2026-10-25