独立游戏开发求助:本地部署大模型实现低延迟NPC对话

Impossible-Skirt-803 · reddit · 2026-08-12

一位独立游戏开发者分享了在游戏中引入 AI NPC 对话系统的经验与痛点。团队最初尝试使用云端 API，但发现网络波动和首字响应时间（TTFT）过长（如等待 5 秒），严重破坏了玩家沉浸感。

为了实现自然的人类语速交互，团队将响应时间目标定在 400ms 以内，并决定转向本地设备部署。由于需要与游戏引擎共享显存，他们正在寻找参数量在 20B 以下的低延迟开源模型方案。