StarSkirmish 基准:LLM 一小时写星际争霸 Protoss 机器人对战
philipvollet · x · 2026-09-27
Kai McPheeters 发布 StarSkirmish Bench:让各 LLM 在 1 小时内用 C++ 编写《星际争霸:母巢之战》的 Protoss 机器人(BWAPI 4.4.0 / OpenBW,三张对战地图),与人类顶级机器人及 demo 机器人对战计分——最强人类机器人 Stardust 为 100,最弱 demo Four Gate Dragoon 为 0。
要点:
- 测试长程推理与 agentic coding:LLM 拥有编译、批量练习赛、读取对局转录(含 build 时序与战斗细节)三个工具,需从练习赛中迭代改进 bot。
- 结果:GPT-6 Astra 与 Claude Opus 5.5 并列前二,GPT-6 Sol 紧随,三者明显领先其他被测模型;按性价比(log 刻度)GPT-6 Sol 独具优势。
- 对局打满 60 分钟(86,400 帧)时按 BASIL ladder 的击杀+拆建筑积分判定胜负。
所属事件:StarSkirmish 上线，LLM 编写星际争霸机器人对战(2 条相关)→
「编程与Agent」频道最新
- Plurai 推出 Agent 仿真测试:让 agent 在数字孪生世界里先失败再修复 — PrajwalTomar_ · 2026-11-11
- AI 做的游戏太难：Claude 6 分钟通关，作者砍 40% 难度 — builderjaydub · 2026-11-11
- Anthropic 推出 Claude Tag，65% 产品代码由内部 AI 生成 — nikola_mr64990 · 2026-11-11
- 评测工作流核心：最大化专家每单位注意力的信息增益 — danshipper · 2026-11-11
- 开源 Node 把 ComfyUI 工作流变一键模型，内置 19 个工作流 — jefoce · 2026-11-11
- Aqua 推出 Notetaker：会议记录经 MCP 直接喂给 AI 智能体 — Scobleizer · 2026-11-11