wzenus 开源 Sooool：让 GPT-6 Sol 逐帧实时玩游戏
wzenus 团队于 10 月 17 日开源 Sooool 项目，探索让 GPT-6 Sol 以「Agent as Policy」（agent 即策略）的方式玩实时游戏：不做 code-as-a-policy，而是让模型逐帧观看画面、直接输出动作，再看结果、再决策。当前已在东方 Touhou、节奏音游、赛车游戏和街机游戏 Asterix 上跑通。
已确认
- 核心难题：模型处理图像期间环境持续变化，动作到达时可能已经失效；为此项目构建了考虑延迟的 autoresearch 研究循环（并配套延迟建模）。
- 音游任务：Sol 从视频帧读取下落音符，直接输出 D/F/J/K 按键与具体敲击时机；学会利用实测延迟提前规划、在音符变紧急前先覆盖新出现的音符、保持音符 ID 稳定以避免重复敲击。
- 赛车任务：Sol 从车载摄像头画面逐帧选择速度与车道目标；学会超车时坚定占住一条车道、不因道路弯曲随意变道、选择在回复到达后仍有效的目标。
- Asterix 街机任务：仅凭截图直接选择移动指令，每个方向持续保持到下一条回复实时到达；学会优先逃跑而非追食物、先完成够得着的拾取再换目标、拾取后选新方向而非重复当前动作。失败会变成下一轮 autoresearch 的经验。
为什么重要
该项目把大模型从「生成一段策略代码」推进到「实时逐帧决策」，直面延迟与动态环境这一现实挑战，为通用视觉 agent 在游戏之外的实时控制场景（如机器人、驾驶）提供了可复用的研究范式，且代码开源、可直接跟进。
2026-10-17 ~ 2026-10-17 · 8 条相关
一手来源
- Sooool 开源：让 GPT-6 Sol 当实时策略玩游戏，世界不等人 — wzenus ·
- Sooool 开源：让 Sol 实时打游戏，用延迟建模对抗「世界在动」 — wzenus ·
- 用 autoresearch 让 GPT-6 Sol 看截图实时玩街机游戏，失败会变成下一轮的经验 — wzenus ·
- 【源头】Sooool 开源：让 Sol 实时打游戏，用延迟建模对抗「世界在动」 — wzenus · 2026-10-17
- 【源头】Sooool 开源：让 GPT-6 Sol 当实时策略玩游戏，世界不等人 — wzenus · 2026-10-17
- GPT-6 Sol 实时玩音游：直接读帧选按键与敲击时机 — wzenus · 2026-10-17
- Sol 用车载摄像头逐帧选车速与车道，边开边想 — wzenus · 2026-10-17
- Sol 靠截图实时玩 Asterix：动作保持到下一条回复到达 — wzenus · 2026-10-17
- 【源头】用 autoresearch 让 GPT-6 Sol 看截图实时玩街机游戏，失败会变成下一轮的经验 — wzenus · 2026-10-17
- 开源项目 Sol 让 LLM 边玩游戏边并行发请求，破解延迟难题 — wzenus · 2026-10-17
- Sooool:让编码 Agent 实时应对 API 延迟的开源探索 — wzenus · 2026-10-17