Kangwook Lee 团队租韩国网吧招千人陪练，蒸馏 2B 模型实现端侧游戏 AI Ally
Kangwook Lee 团队构建了在本地消费级 GPU 上实时驱动游戏 AI NPC 的方案，并详细披露了训练《星际争霸》AI「Ally」的数据采集与压缩流程，其核心是通过大规模真人陪练与迭代蒸馏，让模型在端侧实现近实时交互。
已确认
- 作者指出，用 API 原型化 AI NPC 可行，但 API 难以做到近实时交互，这是团队选择本地部署的动因。
- 压缩流程：先做 SFT 与 off-policy KD，再跟进 agentic 训练，最终将模型蒸馏到 2B 规模，跑在消费级 GPU 上。
- 数据采集上，团队借鉴 DAgger 思路：采集轨迹、对轨迹做纠正后继续训练，再把新模型部署回网吧场景做下一轮采集，反复迭代。
- 最引人注目的细节是：团队租下一间韩国网吧（PC bang），招募超过 1000 名真人玩家与早期版本的 Ally 实际对局，以收集 on-policy rollout 数据。
- 由于一切在边缘设备运行、KV 缓存预算非常紧张，团队专门开发了上下文压缩（context compaction）算法，并公开了完整的推理/工具调用/观察过程示例。
为什么重要
- 该案例展示了把大模型压缩到端侧运行的一套完整工程路径：蒸馏、on-policy 真人数据、迭代纠错训练与上下文压缩环环相扣，对希望在本地设备实现低延迟 Agent 的团队有直接参考价值。
- 租网吧招千名玩家收集对局数据，也体现了高质量 on-policy 数据采集的一种可操作的规模化方案。
2026-09-29 ~ 2026-09-29 · 5 条相关
一手来源
- 为训练星际争霸 AI Ally,团队租网吧招千名真人玩家收集对局数据 — Kangwook_Lee ·
- 用 DAgger 式迭代采集,把模型蒸馏到 2B 跑在消费级 GPU — Kangwook_Lee ·
- 端侧 Agent 受限 KV 缓存,研究者发布上下文压缩算法 — Kangwook_Lee ·
- 【源头】端侧 Agent 受限 KV 缓存,研究者发布上下文压缩算法 — Kangwook_Lee · 2026-09-29
- 【源头】为训练星际争霸 AI Ally,团队租网吧招千名真人玩家收集对局数据 — Kangwook_Lee · 2026-09-29
- 包下网吧招千人陪 AI 玩游戏收集 on-policy 数据 — Kangwook_Lee · 2026-09-29
- 【源头】用 DAgger 式迭代采集,把模型蒸馏到 2B 跑在消费级 GPU — Kangwook_Lee · 2026-09-29
- 蒸馏到 2B 模型跑消费级 GPU,实时驱动游戏 AI NPC — Kangwook_Lee · 2026-09-29