实测:用户按停止后 AI 仍在偷偷生成,除非真正断开连接
No-Peanut-6988 · reddit · 2026-10-20
Sorami 团队实测了 AI 应用中用户按下「停止」按钮后发生的事:只有应用真正挂断连接,模型才会立刻停止生成;若只是停止展示输出但保持连接,AI 会继续在后台写,消耗无人看到的 GPU 算力。
测试发现:
- 应用挂断连接时,模型立刻停止,无多余生成;
- 连接保持但停止读取时,模型继续生成;
- 超时重试但未挂断首次连接时,两个请求同时运行,按时送达的回答几乎减半。
修复方法很简单:确保停止按钮和重试逻辑真正关闭连接,而不是仅隐藏输出。测试范围为自托管引擎(vLLM、SGLang)和两款 AI 网关,未测试 OpenAI 托管服务。
「编程与Agent」频道最新
- NVIDIA 开源 7878 条多轮工具调用数据集,训练金融推理 Agent — kalyan_kpl · 2026-10-20
- 用小模型当 prompt injection 检测器:误报与漏报怎么权衡 — Plastic_Secret1303 · 2026-10-20
- 博主用 Jev 检测 AI 回复失灵,称还需人类反馈辅助判断 — vista8 · 2026-10-20
- 普林斯顿论文:多开发者专业 Agent 组合在 GAIA 上冲到 70% — rohanpaul_ai · 2026-10-20
- Agent eval 冷门盲区:权限中途吊销后缓存会泄漏旧数据吗 — jylusdev · 2026-10-20
- Teknium 预告 Meshy MCP 插件:聊天内直接生成展示 3D 模型 — Teknium · 2026-10-20