流式输出如何拦截禁用短语：连续批处理服务器请求回退实现详解
AlpinDale · x · 2026-09-08
AlpinDale 发布博文，讲解在连续批处理（continuously batched）的 LLM 推理服务器中，如何禁止模型输出特定完整短语。
- 难点：短语不等于 token。按 token 粒度禁用 blast radius 太大（比如禁 test 会误伤 testament）；而流式输出下，引擎识别出完整短语时部分 token 可能已经推到用户屏幕上，且 KV cache 已更新，简单删文本无法清除模型历史。
- 思路：对可能补全成禁用短语的输出先行扣留（hold back），一旦匹配命中，就把该请求「回退」（rewind）并重新采样另一条继续路径。
- 实现：在异步调度器里做这件事比离线 serving 复杂，因为 worker 可能已经在处理后续 step。作者在 Sonar（前 Aphrodite Engine）中完成实现；类似机制在 ExLlamaV3、KoboldCpp、AntiSlop Sampler 中已有雏形。
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27