蒸馏到 2B 模型跑消费级 GPU,实时驱动游戏 AI NPC
Kangwook_Lee · x · 2026-09-29
作者在讨论为什么要让 AI NPC / 游戏角色跑在本地设备上：用 API 原型化 AI NPC 没问题，但 API 很难做到近实时交互。
团队的解法是对模型做蒸馏——先 SFT 与 off-policy KD，再跟进 agentic OPD（on-policy distillation）——最终把模型压缩到 2B 参数的 LLM，能在消费级 GPU 上运行，从而支撑近实时的游戏角色交互。
所属事件:Kangwook Lee 团队租韩国网吧招千人陪练，蒸馏 2B 模型实现端侧游戏 AI Ally(5 条相关)→
「研究」频道最新
- 论文量化AI与人类注意力鸿沟：上下文窗口涨3906倍，人类专注力反降 — alex_verem · 2026-09-29
- Max Welling：用AI搜索10^60种可能材料，AI正在加速自身发明 — charlieharris01 · 2026-09-29
- 阶跃联创朱亦波提出 KITE：把 PD 分离思路引入训练，扩展 Agentic LLM — teortaxesTex · 2026-09-29
- 对齐研究者荐读两篇经典：单边优化的自我瓦解特性 — edelwax · 2026-09-29
- 全球首例：患者接受实时 AI 辅助脑部手术，肿瘤成功切除 — TimDarcet · 2026-09-29
- 开源项目手写 PyTorch 复现 Transformer，免费从零训出 13M 参数模型 — thisguyknowsai · 2026-09-29